CN117455906B - 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 - Google Patents
基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 Download PDFInfo
- Publication number
- CN117455906B CN117455906B CN202311755220.0A CN202311755220A CN117455906B CN 117455906 B CN117455906 B CN 117455906B CN 202311755220 A CN202311755220 A CN 202311755220A CN 117455906 B CN117455906 B CN 117455906B
- Authority
- CN
- China
- Prior art keywords
- layer
- features
- attention
- resolution
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005036 nerve Anatomy 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 28
- 206010061902 Pancreatic neoplasm Diseases 0.000 title claims abstract description 23
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 title claims abstract description 23
- 201000002528 pancreatic cancer Diseases 0.000 title claims abstract description 23
- 208000008443 pancreatic carcinoma Diseases 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 230000001575 pathological effect Effects 0.000 title claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000001537 neural effect Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 12
- 230000009545 invasion Effects 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 210000002464 muscle smooth vascular Anatomy 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001365 lymphatic vessel Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010061968 Gastric neoplasm Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000008129 pancreatic ductal adenocarcinoma Diseases 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法。包括步骤：注释神经，并对神经掩膜做距离变换，在1000um的距离做截断，生成了阴性掩膜和神经掩膜；对全视野数字切片分别在多个分辨率下提取得到对应的不重叠的图像块；将与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，得到高分辨率中间特征；构建FCN网络作为辅助分支，得到低分辨率中间特征；构建多尺度双交叉注意力模块融合多尺度及多分辨率信息；使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化。本发明可以对胰腺癌的全视野病理切片图像中的神经实现精准分割。
Description
技术领域
本发明属于医学图像处理技术领域，涉及数字化病理图像的分割技术，尤其涉及一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法。
背景技术
癌症向邻近或远处组织增殖的能力是病人预后不良的一个重要标志，除了淋巴和血管通道外，癌细胞还可以通过神经扩散，也就是神经周围侵犯（PNI）。并且肿瘤细胞向神经周围区域的入侵是肿瘤微环境的一个重要现象，在很多恶性肿瘤中，神经周围侵犯也是一个独立的预后指标。如果有100例胃肿瘤复发中65例与神经周围侵犯有关，神经周围侵犯阳性肿瘤患者的5年生存率是23.7%。并且还发现神经周围侵犯是胰腺导管腺癌的预后因素之一。
胰腺癌是一种恶性程度极高的肿瘤，五年生存率仅10%，是所有常见恶性肿瘤中生存率最低的，约52%的患者在诊断时已发生远处转移。神经周围浸润（perineuralinvasion，PNI）是胰腺癌的显著特征，其发生率高达70%~100%。早期癌症治疗可能涉及手术或放射，或两个都有。在切除后，需要对手术标本进行检查，并且对癌症进行协同报告，包括许多必要的和可选的内容，比如肿瘤的类型和等级、边缘状态，以及是否存在淋巴血管侵犯或神经周围侵犯（PNI）。
但是目前对于神经的研究是比较少的，大多是基于对组织切片的人工评估，对于神经周围侵犯的主观识别是非常耗时的，并且本身具有不可重复性，所以利用H&E染色的组织切片来对神经进行准确的分割，可以帮助病理专家来定位神经周围侵犯生成，这些工作在病理实践中是比较繁琐并且耗时的工作。通常情况下神经一般大小差异都比较大，从微米级到厘米级别都有，并且神经和其他组织比如间质、血管平滑肌等都是非常相似，尤其是在特定分辨率下，所以分割神经非常存在挑战性。针对这些问题，现有技术中公开了基于特征注意力块的金字塔池化深度神经网络，用来同时分割病理学图像中的微血管和神经，使用了Xception残差块，然后用空洞空间卷积池化金字塔ASPP块来进行多尺度的特征提取，加入了特征注意块得到更加精确的分割，并通过应用测试时间增强来研究了一种估计网络的预测不确定性的机制残差块，该算法在一定程度上提升了神经的分割精度。
如何减少神经以外其他阴性组织的假阳问题一直是神经分割任务中研究的重点。然而，由于神经的大小形态变化多样，并且神经与其他组织的高度相似性，这一问题一直是具有挑战性的。
目前的算法都是从卷积的角度出发来进行神经的分割，这很容易出现分割不完全，假阳性的问题，没有考虑从全局的角度来定位神经的位置，使得神经分割更加准备，这限制了分割效果进一步得到提升。
发明内容
发明目的：本发明旨在提供一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，基于组织学切片多分辨率的特性，使用高分辨率的图块作为高分辨率的输入、低分辨率的图块作为低分辨率的输入，分别实现高分辨率特征和低分辨率特征的提取，并进行融合，从而实现组织学切片中对神经进行准确分割的任务，在两个分支之间有分支相互连接以实现信息的融合，并且在主干中设计为CNN-Transformer混合模型来获取长距离依赖关系，达到准确定位神经位置信息的目的。并且，在主干的跳跃连接部分采用混合域的注意力机制来捕捉神经一些比较重要的位置信息和边界信息，使其在最终的分割中减少假阳性的存在，有效提升分割质量。
技术方案：为实现上述目的，本发明提供一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，包括如下步骤：
S1：一组病理学家合作从胰腺癌全视野数字切片（Whole Slide Images, WSIs）图像中注释出神经，保证1000um范围内无其他阳性样本，使用距离变换在阳性区域周围生成阴性掩膜。对神经掩膜做距离变换操作，在1000um的距离处做截断，由此生成无阳性目标的纯阴性掩膜；
S2：基于神经掩膜和步骤S1中生成的阴性掩膜，对WSI分别在多个分辨率下提取得到对应的不重叠的图像块和对应标签，由此提取得到的图像块可作为多分辨率数据集来进行模型训练；
S3：使用在大型自然图像（ImageNet））上得预训练权重，将其拆分为五个阶段与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，并将步骤S2中构建的数据集中高分辨率的图像块作为高分辨率分支的输入，得到高分辨率分支每层编码器的中间特征；
S4：构建轻量级的FCN网络作为辅助分支，将步骤S2中构建的数据集中低分辨率的图像块作为辅助的低分辨率分支的输入，得到低分辨率分支每层编码器的中间特征；
S5：构建多尺度双交叉注意力模块作为模型的skip-connection结构，对步骤S3和步骤S4中得到的多尺度和多分辨率信息进行融合，融合后的特征保留浅层特征以及融合之后的多尺度信息；
S6：构建边界引导的解码器，将步骤S5得到的融合后的信息作为输入，使用Canny边界检测方法分别从低层特征和高层特征提取得到边界增强特征，并将边界增强特征作为先验，前一个解码器层得到的特征作为输入，将边界信息注入到每一层解码器；
S7：使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化，最终对胰腺癌的全视野病理切片图像中的神经实现精准分割；
进一步地，所述步骤S1中，由于一张WSI中神经数量巨大，且大小形态各异，首先要请三位病理学专家对全切片中的神经采用稀疏标注的策略进行细致的勾勒。并且为了更好的验证模型的分割性能，在阳性目标周围1000um范围内使用距离变换函数生成阴性掩膜。
进一步地，所述步骤S2中的图像块是基于阴性掩膜和神经掩膜在0.5um和2.0um分辨率下将全切片裁剪为的非重叠patch。其中0.5um属于可视野较小的高分辨率，因此作为主干高分辨率分支的输入来提取局部特征；2.0um属于可视野相对较大的低分辨率，因此作为辅助低分辨率分支的输入来提取全局特征。
进一步地，所述步骤S3中主干分支的分割模型是以网络为基础提取局部特征，轻量级的DSAFormer层辅助提取图像块的长距离依赖关系。首先将拆分为五个阶段，每个阶段均包含卷积核大小为/>的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入最大池化层得到特征/>。然后将设计的轻量级的DSAFormer层与/>的五个阶段交替连接形成CNN-Transformer混合模型。
其中轻量级的DSAFormer层总共由特征嵌入、双压缩注意力和MLP三个部分组成，将经过得到的特征/>首先通过/>的归一化层，其次对每个图像块的向量进行卷积投影得到图像块嵌入，然后送入到双压缩注意力层计算注意力权重，最终通过MLP层得到输出/>，其中双压缩注意力分为两个模块，分别在水平和垂直方向对特征进行压缩来计算压缩注意力，每个模块分为上下两个部分，其中下部分是采用压缩后的特征计算全局注意力，上部分是使用卷积层补充局部信息，首先将图像块嵌入通过卷积投影后的/>作为Q，key作为K，以及/>作为V，三者作为双压缩注意力层的输入，其中将Q、K和V在通道维度进行拼接作为每个模块的上部分的输入来补充局部信息，下部分是将三者分别自水平和垂直方向进行压缩来计算压缩注意力，并将压缩注意力得到的输出作为权重对上部分的局部信息进行重新加权，通过双压缩注意力层得到的权重和CNN编码器层的输出/>进行残差连接，得到编码器层的中间特征/>作为下一编码器层和相应解码器层的输入。
进一步地，所述步骤S4中的辅助分支的分割模型是FCN网络，采用步骤S2中低分辨率的图像作为输入来提取全局特征，辅助分支网络与对应主干网络拥有相同的深度，以便进行特征融合，辅助分支的网络总共五个阶段，每个阶段均包含卷积核大小为的2D卷积层和激活函数为/>的激活层交替两次，最后加入最大池化层得到特征/>。
进一步地，所述步骤S5中双交叉注意力分别在多尺度和多分辨率上进行注意力的计算，首先将步骤S3得到的四个主干编码器层的中间特征映射为多头注意力的四个Q，将步骤S4得到的四个辅助编码器层的中间特征/>进行拼接，并映射为K和V，分别和主干多尺度的信息计算全局注意力，从而得到融合多尺度的信息/>；其次将多尺度信息作为下一交叉注意力的输入，并映射为V，将步骤S4得到四个辅助编码器层的中间特征/>映射为Q和K，分别和多尺度信息计算全局注意力，从而得到融合多尺度及多分辨率信息的/>。
进一步地，所述步骤S6中采用的解码器网络与编码器网络是对称结构，每个阶段均包含卷积核大小为的2D卷积层和激活函数为/>的激活层交替两次，并在每层最后加入上采样层得到特征/>，因此通过四次上采样操作，特征的尺寸依次上升，直到与输入图像的尺寸一致；
首先使用Canny边界检测方法分别对步骤S5中得到的融合后的低层次特征和高层次特征/>提取边界，并将两个高低分辨率的边界在通道维度进行拼接，使用卷积将其在通道维度进行融合得到边界增强特征，其次将边界增强特征作为先验，前一个解码器层得到的特征和相应/>层特征/>作为输入，将边界信息注入到每一层解码器，通过逐层解码，最后通过/>激活函数得到最终的神经分割掩膜。
进一步地，所述步骤S7中的损失函数采用的是交叉熵损失函数与损失函数，表示为：
，
，
，
其中，是真实标签值,正分类值为 1，负分类值为0，/>为预测标签值/>，为总的损失，/>为交叉损失，/>为/>损失，/>为交叉熵损失所占权重，/>为/>损失所占权重。
有益效果：本发明与现有技术相比，具备如下优点：
1、本发明充分利用组织学切片多分辨率的特征，采用多分支的方法模拟组织病理学家的阅片方式，在提取特征的过程中注入多尺度信息、多分辨率信息、局部信息以及全局信息，从而实现对神经进行自动准确分割，提出了一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法；
2、本发明在主干网络中使用一个混合编码器网络，其中在卷积网络的每一层增加一个新颖的层为局部特征提供全局信息。首先使用卷积映射方式替换传统的线性映射，能够更好的帮助定位神经的位置，在减少计算量的同时解决了传统/>中线性映射丢失位置信息的问题，其次本发明的/>层使用一个新颖的双压缩注意力，即分为两个模块：分别在水平和垂直方向计算压缩注意力，在每个模块使用卷积层来补充局部信息，因此可以得到更具有局部信息的特征，同时降低了计算复杂性；
3、本发明在主干网络的部分使用一个双交叉注意力模块，首先使用主干分支的多尺度信息分别作为多头注意力的/>，辅助分支的拼接信息作为/>和/>计算全局注意力，从而提取多尺度信息，其次使用辅助分支的多尺度信息分别作为/>和/>，多尺度信息作为/>，从而提取多分辨率信息，这有助于更好的定位神经的位置，减少与神经极度相似区域（如：间质、血管平滑肌等）的假阳性；
4、本发明构建了一个新颖的边界引导的解码器，首先使用Canny边界检测算法对特征进行边界提取，然后使用提取得到的边界增强特征作为先验，将边界信息融入到解码过程中，使得网络对于边界像素更加关注，从而使得预测结果更接近真实标签；
5、本发明所提出的基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割模型在来四个来自不同地区的真实临床数据集上进行验证，都表现出良好的性能，足以证明本发明的泛化性能和临床价值。
附图说明
图1为本发明提供的基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割模型的结构示意图；
图2为本发明提供的一种层的拓扑结构示意图；
图3为本发明提供的一种多尺度双交叉注意力机制的拓扑结构示意图；
图4为本发明提供的一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法的流程示意图；
图5为测试图像的算法对比结果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例：神经是由许多神经纤维及周围的结缔组织、血管和淋巴管等一起构成。一般神经的大小差异较大，从m到cm级别，其特点是细胞核体积小，呈密集、有序的排列，神经纤维的形状呈波浪状改变。具有这样特点的神经在不同分辨率下特点不同，所以就需要结合多尺度的方法，通过多分辨率的输入能够提取到神经在不同分辨率下的特征，从而充分利用组织学切片多分辨率的优势；神经分割任务中一个比较大的难点是由于神经和间质、血管平滑肌的高度相似性，所以在间质和血管平滑肌容易出现假阳比较多的问题，本方法通过使用/>的混合模型能够充分弥补纯卷积网络缺少全局信息，使得分割更加完全，并且减少了假阳性。
如图4所示，为本发明的流程示意图，一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，包括如下步骤：
S1：一组病理学家合作从胰腺癌全视野数字切片（Whole Slide Images, WSIs）图像中注释出神经，保证1000um范围内无其他阳性样本，使用距离变换在阳性区域周围生成阴性掩膜。对神经掩膜做距离变换操作，在1000um的距离处做截断，由此生成无阳性目标的纯阴性掩膜。
由于一张WSI中神经数量巨大，且大小形态各异，首先要请三位病理学专家对全切片中的神经采用稀疏标注的策略进行细致的勾勒。并且为了更好的验证模型的分割性能，在阳性目标周围1000um范围内使用距离变换函数生成阴性掩膜。
S2：基于神经掩膜和步骤S1中生成的阴性掩膜，对WSI分别在多个分辨率下提取得到对应的不重叠的图像块和对应标签，由此提取得到的图像块可作为多分辨率数据集来进行模型训练。
如图1所示，图像特征编码器包含两个不同分辨率的输入。所有的图像块是基于阴性掩膜和神经掩膜在两个尺度下提取得到的，输入待分割的病理图像，通过采样得到高分辨率图像块和低分辨率图像块，分别是 0.5um和2.0um，并将全切片裁剪为的非重叠patch。其中0.5um属于可视野较小的高分辨率，因此作为主干高分辨率分支的输入来提取局部特征；2.0um属于可视野相对较大的低分辨率，因此作为辅助低分辨率分支的输入来提取全局特征
S3：使用在大型自然图像（ImageNet））上得预训练权重，将其拆分为五个阶段与设计的轻量级的/>层交替连接形成新颖的混合编码器网络，并将步骤S2中构建的数据集中高分辨率的图像块作为高分辨率分支的输入，得到高分辨率分支每层编码器的中间特征。
如图1所示，主干分支的分割模型是以网络为基础提取局部特征，轻量级的/>层辅助提取图像块的长距离依赖关系。首先将/>拆分为五个阶段，每个阶段均包含卷积核大小为/>的2D卷积层和激活函数为/>的激活层交替两次，并在每层最后加入最大池化层得到特征/>。然后将设计的轻量级的/>层与/>的五个阶段交替连接形成CNN-Transformer混合模型。
如图2所示，所述的轻量级的层总共由特征嵌入、双压缩注意力和MLP三个部分组成。将经过/>得到的特征/>首先通过/>的归一化层，其次对每个图像块的向量进行卷积投影得到图像块嵌入，然后送入到双压缩注意力层计算注意力权重，最终通过MLP层得到输出/>。其中双压缩注意力分为两个模块，分别在水平和垂直方向对特征进行压缩来计算压缩注意力。每个模块分为上下两个部分，其中下部分是采用压缩后的特征计算全局注意力，上部分是使用卷积层补充局部信息。首先将图像块嵌入通过卷积投影后的/>作为/>，/>作为/>，以及/>作为/>，三者作为双压缩注意力层的输入，其中将/>、/>和/>在通道维度进行拼接作为每个模块的上部分的输入来补充局部信息，下部分是将三者分别自水平和垂直方向进行压缩来计算压缩注意力，并将压缩注意力得到的输出作为权重对上部分的局部信息进行重新加权。通过双压缩注意力层得到的权重和CNN编码器层的输出/>进行残差连接，得到编码器层的中间特征/>作为下一编码器层和相应解码器层的输入。
S4：构建轻量级的FCN网络作为辅助分支，将步骤S2中构建的数据集中低分辨率的图像块作为辅助的低分辨率分支的输入，得到低分辨率分支每层编码器的中间特征。
如图1所示，辅助分支的分割模型是FCN网络，采用步骤S2中低分辨率的图像作为输入来提取全局特征，辅助分支网络与对应主干网络拥有相同的深度，以便进行特征融合。辅助分支的网络总共五个阶段，每个阶段均包含卷积核大小为的2D卷积层和激活函数为LeakyReLU的激活层交替两次，最后加入最大池化层得到特征/>。
S5：构建多尺度双交叉注意力模块作为模型的结构，对步骤S3和步骤S4中得到的多尺度和多分辨率信息进行融合，融合后的特征保留浅层特征以及融合之后的多尺度信息。
如图3所示， 所述步骤S5中双交叉注意力分别在多尺度和多分辨率上进行注意力的计算，首先将步骤S3得到的四个主干编码器层的中间特征映射为多头注意力的四个，将步骤S4得到的四个辅助编码器层的中间特征/>进行拼接，并映射为/>和/>，分别和主干多尺度的信息计算全局注意力，从而得到融合多尺度的信息/>；其次将多尺度信息/>作为下一交叉注意力的输入，并映射为/>，将步骤S4得到四个辅助编码器层的中间特征/>映射为/>和/>，分别和多尺度信息计算全局注意力，从而得到融合多尺度及多分辨率信息的/>。
S6：构建边界引导的解码器，将步骤S5得到的融合后的信息作为输入，使用Canny边界检测方法分别从低层特征和高层特征提取得到边界增强特征，并将边界增强特征作为先验，前一个解码器层得到的特征作为输入，将边界信息注入到每一层解码器。
如图1所示，解码器网络与编码器网络是对称结构，每个阶段均包含卷积核大小为的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入上采样层得到特征/>因此通过四次上采样操作，特征的尺寸依次上升，直到与输入图像的尺寸一致。
首先使用Canny边界检测方法分别对步骤S5中得到的融合后的低层次特征和高层次特征/>提取边界，并将两个高低分辨率的边界在通道维度进行拼接，使用卷积将其在通道维度进行融合得到边界增强特征。其次将边界增强特征作为先验，前一个解码器层得到的特征和相应/>层特征/>作为输入，将边界信息注入到每一层解码器。通过逐层解码，最后通过/>激活函数得到最终的神经分割掩膜。
S7：使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化，最终对胰腺癌的全视野病理切片图像中的神经实现精准分割。
为了证明本发明的有效性，本发明还提供了下述对比实验：
具体的，本发明选取来自公开数据集TCGA数据库中的200张组织病理学切片，其中，140张切片用于训练，40张切片用于验证，20张切片用于测试。以及三个来自不同地区的临床数据，分别包含30张、35张和38张H&E染色组织病理学切片，三个中心的临床数据均经过三个病理学家的注释。由于不同中心的数据染色效果差异很大，颜色归一化成为预处理中必不可少的步骤，因此我们对不同中心的数据进行染色归一化处理。所在经过所述步骤一中的预处理之后，TCGA 数据库图像被用于模型的训练和测试，其他三个中心的数据仅作为测试来验证模型的泛化能力。在经过所述步骤一中的预处理之后，图像被用于模型的训练和测试。训练模型参数时采用Adam优化器，初始学习率为0.0001。
对比实验中将本方法的实验结果与U-Net、TransUnet以及UCTransNet方法进行对比，对比结果如图5所示，其中用框标记的区域为本发明提出的方法分割更好的地方。可以看到相比于其他算法，本发明提出的方法能够更准确地预测出边界，并且能够很好的减少其他组织区域的假阳以及减少漏分情况，实现对神经进行自动准确分割。
Claims (3)
1.一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，其特征在于，所述方法包括以下步骤：
S1：一组病理学家合作从胰腺癌全视野数字切片图像中注释出神经，保证1000um范围内无其他阳性样本，使用距离变换在阳性区域周围生成阴性掩膜，对神经掩膜做距离变换操作，在1000um的距离处做截断，由此生成无阳性目标的纯阴性掩膜；
S2：基于神经掩膜和步骤S1中生成的阴性掩膜，对WSI分别在多个分辨率下提取得到对应的不重叠的图像块和对应标签，由此提取得到的图像块可作为多分辨率数据集来进行模型训练；
S3：使用VGG19-Net在大型自然图像上的预训练权重，将其拆分为五个阶段与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，并将步骤S2中构建的数据集中高分辨率的图像块作为高分辨率分支的输入，得到高分辨率分支每层编码器的中间特征；
S4：构建轻量级的FCN网络作为辅助分支，将步骤S2中构建的数据集中低分辨率的图像块作为辅助的低分辨率分支的输入，得到低分辨率分支每层编码器的中间特征；
S5：构建多尺度双交叉注意力模块作为模型的skip-connection结构，对步骤S3和步骤S4中得到的多尺度和多分辨率信息进行融合，融合后的特征保留浅层特征以及融合之后的多尺度信息；
S6：构建边界引导的解码器，将步骤S5得到的融合后的信息作为输入，使用Canny边界检测方法分别从低层特征和高层特征提取得到边界增强特征，并将边界增强特征作为先验，前一个解码器层得到的特征作为输入，将边界信息注入到每一层解码器；
S7：使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化，最终对胰腺癌的全视野病理切片图像中的神经实现精准分割；
其中，所述步骤S3中主干分支的分割模型是以VGG19-Net网络为基础提取局部特征，轻量级的DSAFormer层辅助提取图像块的长距离依赖关系，首先将VGG19-Net拆分为五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入最大池化层得到特征Fcnn，然后将设计的轻量级的DSAFormer层与VGG19-Net的五个阶段交替连接形成CNN-Transformer混合模型，
其中轻量级的DSAFormer层总共由特征嵌入、双压缩注意力和MLP三个部分组成，将经过VGG19-Net得到的特征Fcnn首先通过Layer Normalization的归一化层，其次对每个图像块的向量进行卷积投影得到图像块嵌入，然后送入到双压缩注意力层计算注意力权重，最终通过MLP层得到输出FDSA，其中双压缩注意力分为两个模块，分别在水平和垂直方向对特征进行压缩来计算压缩注意力，每个模块分为上下两个部分，其中下部分是采用压缩后的特征计算全局注意力，上部分是使用卷积层补充局部信息，首先将图像块嵌入通过卷积投影后的query作为Q，key作为K，以及value作为V，三者作为双压缩注意力层的输入，其中将Q、K和V在通道维度进行拼接作为每个模块的上部分的输入来补充局部信息，下部分是将三者分别自水平和垂直方向进行压缩来计算压缩注意力，并将压缩注意力得到的输出作为权重对上部分的局部信息进行重新加权，通过双压缩注意力层得到的权重和CNN编码器层的输出Fcnn进行残差连接，得到编码器层的中间特征Fzg作为下一编码器层和相应解码器层的输入；
其中：所述步骤S4中的辅助分支的分割模型是FCN网络，采用步骤S2中低分辨率的图像作为输入来提取全局特征，辅助分支网络与对应主干网络拥有相同的深度，以便进行特征融合，辅助分支的网络总共五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为LeakyReLU的激活层交替两次，最后加入最大池化层得到特征Ffz；
其中，所述步骤S5中双交叉注意力分别在多尺度和多分辨率上进行注意力的计算，首先将步骤S3得到的四个主干编码器层的中间特征Fzg映射为多头注意力的四个Q，将步骤S4得到的四个辅助编码器层的中间特征Ffz进行拼接，并映射为K和V，分别和主干多尺度的信息计算全局注意力，从而得到融合多尺度的信息Fmulti；其次将多尺度信息Fskip1作为下一交叉注意力的输入，并映射为V，将步骤s4得到四个辅助编码器层的中间特征Ffz映射为Q和K，分别和多尺度信息计算全局注意力，从而得到融合多尺度及多分辨率信息的Fskip，
其中，所述步骤S6中采用的解码器网络与编码器网络是对称结构，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入上采样层得到特征Fjm，因此通过四次上采样操作，特征的尺寸依次上升，直到与输入图像的尺寸一致；
首先使用Canny边界检测方法分别对步骤S5中得到的融合后的低层次特征Fskip1和高层次特征Fskip4提取边界，并将两个高低分辨率的边界在通道维度进行拼接，使用1×1卷积将其在通道维度进行融合得到边界增强特征，其次将边界增强特征作为先验，前一个解码器层得到的特征和相应skip-connection层特征Fskip作为输入，将边界信息注入到每一层解码器，通过逐层解码，最后通过Sigmod激活函数得到最终的神经分割掩膜，其中，所述步骤S7中的损失函数采用的是交叉熵损失函数与Dice损失函数，表示为：
losstotal＝weightce×lossce+weightdice×lOssdice
其中，y是真实标签值，正分类值为1，负分类值为0，为预测标签值/>losstotal为总的损失，lossce为交叉损失，lossdice为Dice损失，weightce为交叉熵损失所占权重，weightdice为Dice损失所占权重。
2.根据权利要求1所述基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，其特征在于：所述步骤S1中，由于一张WSI中神经数量巨大，且大小形态各异，首先要请三位病理学专家对全切片中的神经采用稀疏标注的策略进行细致的勾勒，其次为了更好的验证模型的分割性能，在阳性目标周围1000um范围内使用距离变换函数生成阴性掩膜。
3.根据权利要求1所述基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，其特征在于：所述步骤S2中的图像块是基于阴性掩膜和神经掩膜在0.5um和2.0um分辨率下将全切片裁剪为512×512的非重叠patch，其中0.5um属于可视野较小的高分辨率，作为主干高分辨率分支的输入来提取局部特征；2.0um属于可视野相对较大的低分辨率，作为辅助低分辨率分支的输入来提取全局特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311755220.0A CN117455906B (zh) | 2023-12-20 | 2023-12-20 | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311755220.0A CN117455906B (zh) | 2023-12-20 | 2023-12-20 | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117455906A CN117455906A (zh) | 2024-01-26 |
| CN117455906B true CN117455906B (zh) | 2024-03-19 |
Family
ID=89595149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311755220.0A Active CN117455906B (zh) | 2023-12-20 | 2023-12-20 | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117455906B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726633B (zh) * | 2024-02-07 | 2024-04-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
| CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
| CN116012332A (zh) * | 2022-12-29 | 2023-04-25 | 西安交通大学 | 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质 |
| WO2023098289A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
-
2023
- 2023-12-20 CN CN202311755220.0A patent/CN117455906B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
| CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
| WO2023098289A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
| CN116012332A (zh) * | 2022-12-29 | 2023-04-25 | 西安交通大学 | 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117455906A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785617B (zh) | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 | |
| CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN117455906B (zh) | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 | |
| CN110717907A (zh) | 一种基于深度学习的手部肿瘤智能检测方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| Li et al. | Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM | |
| CN114266786A (zh) | 基于生成对抗网络的胃病变分割方法及系统 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| CN114119515A (zh) | 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法 | |
| Wang et al. | Tumor segmentation based on deeply supervised multi-scale U-Net | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| Li et al. | Multiple self-attention network for intracranial vessel segmentation | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN116468741A (zh) | 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法 | |
| CN116596890A (zh) | 基于图卷积网络的动态图像甲状腺癌危险分层预测方法 | |
| Liu et al. | CAM‐Wnet: An effective solution for accurate pulmonary embolism segmentation | |
| Wang et al. | Multi-scale boundary neural network for gastric tumor segmentation | |
| Dong et al. | Diffusion model-based text-guided enhancement network for medical image segmentation | |
| Zhang et al. | Scale-wise discriminative region learning for medical image segmentation | |
| Luo et al. | Accurate gastric ulcer and intestinal polyp segmentation using attention network and multiscale Information Integration | |
| Niu et al. | A Generalized Densely Connected Encoder-Decoder Network for epithelial and stromal regions segmentation in histopathological images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |