CN115439493A - 一种乳腺组织切片癌变区域分割方法及装置 - Google Patents
一种乳腺组织切片癌变区域分割方法及装置 Download PDFInfo
- Publication number
- CN115439493A CN115439493A CN202211111864.1A CN202211111864A CN115439493A CN 115439493 A CN115439493 A CN 115439493A CN 202211111864 A CN202211111864 A CN 202211111864A CN 115439493 A CN115439493 A CN 115439493A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- full
- slice
- cancerous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000000481 breast Anatomy 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 120
- 238000012549 training Methods 0.000 claims abstract description 43
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 41
- 201000011510 cancer Diseases 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 230000001575 pathological effect Effects 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000007670 refining Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种乳腺组织切片癌变区域分割方法，包括：基于患癌全切片及其中癌变区域的标注，制作训练集和测试集；设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型；将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果；应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块；将所得到的图像块的进行拼接，形成全切片的分割结果。应用本发明实施例，旨在实现乳腺病理图像癌变区域自动分割。
Description
技术领域
本发明涉及入线阻值切片技术领域，尤其涉及一种乳腺组织切片癌变区域分割方法及装置。
背景技术
制作乳腺癌的数字病理切片的方法首先用苏木精和红(H&E)染色组织载玻片，然后通过电子显微镜扫描形成数字病理图像。病理切片通常包含数百万个细胞，病理学家通常需要在一天中分析多个载玻片，这是一项非常耗时耗力的任务。病理图像的特点是复杂性和多样性，对病理学家的专业性和经验的要求极其严格。
基于深度学习的乳腺病理切片的分类方法的研究已经趋于成熟，分类准确率也接近甚至超过医生诊断的准确度。但在临床诊断过程中，准确定位出病灶点区域会比单纯给出图像的分类结果更为直观。对医学图像进行手动标注需要高额的成本及时间,因此运用人工智能对医学图像进行语义分割一直是医学图像分析领域的热门内容。
基于深度学习的分割技术在许多计算机视觉任务中展现了其优越的性能，因其特征提取能力强和容易训练优化的特点，目前已经成为一种完善和健壮的图像分割方法。近年来，基于深度学习的分割方法主要为基于全卷积模型的分割方法，具有代表性的有全卷积网络(Fully Convolutional Networks,FCN)、U-Net网络和U-Net++网络等。如Gu等人提出一种上下文编码器网络(CE-Net)来捕获上下文信息并保留空间信息，并将其应用于2D医学图像分割任务中。Qu[8]等人提出一个全卷积神经网络，通过保持全分辨率的特征映射，实现对细胞核和腺体区域的实例分割。Feng等人使用一种新的上下文金字塔融合网络(CPFNet)，通过组合两个金字塔模块来融合全局和多尺度上下文信息。
尽管医学图像分割已经有广泛的研究，但是组织病理图像相较于其他医学图像存在以下问题：首先，组织病理图像的组织基元高密度分布，组织间存在重叠和缠绕；其次，组织病理图像正常组织区域与异常组织区域交界处特征差异较小，难以准确分割；最后，乳腺组织病理图像因其组织结构的特殊性,图像中空洞较多,对分割模型的学习造成一定干扰。以至于在其他任务中表现优异的分割模型，难以在分割病理癌变组织区域的任务中达到较好的分割效果。
发明内容
本发明的目的在于提供一种乳腺组织切片癌变区域分割方法及装置，旨在使用U-Net++作为基准模型，利用残差注意力模块代替原始的卷积块，以此加深网络的深度和复杂度，并利用双注意力模块能分别在空间维度和通道维度对特征进行自适应调整，增强对病理图像的特征提取能力。最后在中间层添加多尺度特征融合模块，获取更大的感受野和上下文信息，改善病变区域和小目标区域的边界分割效果。最后利用全连接CRF作图像后处理，恢复图像细节部分，进一步提高癌变区域分割的准确率。
为了实现上述目的，本发明提供一种乳腺组织切片癌变区域分割方法，其特征在于，所述方法包括：
基于患癌全切片及其中癌变区域的标注，制作训练集和测试集；
设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型；
将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果；
应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块；
将所得到的图像块的进行拼接，形成全切片的分割结果。
一种实现方式中，所述基于患癌全切片及其中癌变区域的标注，制作训练集和测试集步骤，包括：
基于预先提供的数据集，获得其中每张患癌全切片的非癌变区域、癌变区域及癌变区域对应的标注，并将每一张患癌全切片转换成对应的癌变区域掩码图，在掩码图中，癌变区域的像素值为255，非癌变区域的像素值为0；
使用Ostu分割法，将患癌全切片转换为灰度图像，并根据像素分布找出组织区域和背景方差最大时的灰度，根据所获取的灰度将提取的组织区域转换成切片对应的组织区域掩码文件；
分别在患癌全切片的非癌变区域和癌变区域，采用随机取样的方式抽取256×256像素大小的图像块，并对该患癌切片的掩码图像对应位置进行分割操作，提取同样大小的掩码块；提取的图像块包含的组织区域占整张图像块比例需不小于50％，同时正常图像块不包含癌症像素，肿瘤图像块中需至少包含一个癌症像素；
用Reinhard色彩迁移方法将病理组织图像块进行颜色归一化，并采用直方图均衡技术对图像块进行增强，更加凸显乳腺组织病理细胞级特征，最后将数据集以预设比例分为训练集和测试集。
一种实现方式中，所述设计基于多尺度融合和注意力机制的分割模型的步骤，包括：
以U-Net++网络模型作为分割模型的主干网络，并对原U-Net++网络模型的解码器部分进行，减少大量的跳跃结构，使得解码器中每个节点只保存一次跳跃结构，并直接连接到预设侧节点中；
使用残差注意力块对原U-Net++网络模型的卷积块进行替换，得到基于多尺度融合和注意力机制的分割模型；
对于给定的中间特征图输入F，经过两个卷积块，然后将特征分别输入到空间注意力模块和通道注意力模块中，将两个模块输出的特征进行融合，输入特征与融合后的双注意力特征通过恒等映射作为输出，其中每个卷积块包含归一化层BN、ReLU层和卷积核为3×3的卷积层；
在编码器和解码器之间的中间层添加一个多尺度特征融合模块。多尺度特征融合模块为一个带有跳跃连接的三层膨胀率不同的空洞卷积组成，用来获取3种感受野的特征，捕获多尺度的图像属性和癌变组织的全局形状特征；
多尺度特征融合模块由三个膨胀率分别为6、12、18的空洞卷积组成，空洞卷积的卷积核为3×3，步长为1，每次空洞卷积之后紧跟一个ReLU层；利用跳跃连接将3种尺度的特征和经上采样操作后的输入特征在通道维度上进行融合；将不同尺度的特征融合后利用1×1的卷积将其转化为固定大小的特征图。
一种实现方式中，所述采用所述训练集对所述分割模型进行训练，获得训练后的分割模型，包括：
使用翻转、旋转、裁剪方式对训练集中的图像块和掩码图进行数据增强，使用收敛速度较快的Adam优化算法，在训练过程中采用交叉熵损失函数作为起始阶段的损失函数，当模型迭代到一定收敛程度，采用Dice损失函数对模型参数进行调整。
一种实现方式中，所述将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果的步骤，包括：
制作待检测的全切片图像的分割数据集，利用滑动窗口在病理图像的组织区域提取256×256像素大小的待检测图像块，并对待检测图像块进行颜色归一化处理；
将待检测图像块输入到已训练的分割模型，进行癌变区域的预测；在预测结果中，待检测图像块中每个像素都可以获得一个患癌概率；
根据所有像素的患癌概率值，绘制待检测图像块的癌变区域热力图，并以设定颜色区域显示恶性肿瘤所在区域，该分割结果用以预测癌变区域的存在和位置。
一种实现方式中，所述应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块的步骤，包括：
所述全连条件随机场CRF模型的结构包括：
应用吉布斯能量分布函数表示图像中的一个标签分布情况E(x|I)：
其中，一元项能量函数θi(xi)＝-logP(xi)，P(xi)表示图像块中第i个像素的患癌概率预测值，若预测的患癌概率值越大，则能量越小，预测越准确
二元项能量函数θij(xi,xj)具体表达为：
θij(xi,xj)＝μ(xi,xj)(ω1k1,ω2k2)
其中，k1，k2为二元项能量函数的高斯核；σα，σβ，σγ为高斯核的标准差参数；ω1，ω2高斯函数的权重；pi，pj和Ii，Ij分别表示像素点i，j的位置信息和颜色信息，μ(xi,xj)表示两个标签之间的兼容性度量。
一种实现方式中，所述将所得到的图像块的进行拼接，形成全切片的分割结果的步骤，包括：
通过设定的阈值，将全切片中经过图像后处理操作的图像块转化为二值图像，其中癌像素为1，正常像素为0。
将处理后的分割图拼接成和原全切片尺寸相同的图像，形成整个全切片的分割结果。
此外，本发明还公开了一种乳腺组织切片癌变区域分割装置，包括：
制作模块，用于基于患癌全切片及其中癌变区域的标注，制作训练集和测试集；
训练模块，用于设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型；
分割模块，用于将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果；
细化模块，用于应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块；
拼接模块，用于将所得到的图像块的进行拼接，形成全切片的分割结果。
应用本发明实施例提供的乳腺组织切片癌变区域分割方法及装置，使用U-Net++作为基准模型，利用残差注意力模块代替原始的卷积块，以此加深网络的深度和复杂度，并利用双注意力模块能分别在空间维度和通道维度对特征进行自适应调整，增强对病理图像的特征提取能力。最后在中间层添加多尺度特征融合模块，获取更大的感受野和上下文信息，改善病变区域和小目标区域的边界分割效果。最后利用全连接CRF作图像后处理，恢复图像细节部分，进一步提高癌变区域分割的准确率。
附图说明
图1是本发明实施例乳腺组织切片癌变区域分割方法的一种流程构示意图。
图2是本发明实施例残差注意力模块的结构示意图。
图3是本发明实施例多尺度融合模块的结构示意图。
图4是本发明实施例本发明实施例的分割网络结构图。
图5是现有技术的分割网络结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1-4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
针对第一个问题，研究者常采用通过增加分割网络的宽度和深度提取更深层次的图像特征，以此提升分割精度。如Ibtehaz等人提出MultiResUNet，利用MultiRes模块代替U-Net的编码器中的每个单元，在多辨率分析的同时增加网络学习能力。Zhou等人将密集连接加入U-Net网络，从而引入深度监督的思想，并通过重新设计的跳跃连接路径把不同尺寸的U-Net结构融入到了一个网络里。但这些模型参数较多，训练时消耗较多内存，增加训练难度。
对于后续两个问题，研究者们通常采用融合不同放大倍率下的图像特征来改善过渡区域的分割效果。Xu等利用多尺度特征结合深度卷积神经网络对病理图像块进行癌变区域的分割。Rijthoven等人提出了一种名为HookNet的分割网络，通过多个编码器和解码器分支来融合组织区域的上下文和细节特征，以实现高分辨率的语义分割。Schmitz等人引入不同空间尺度的模型路径，在保持空间关系的同时实现具有深度融合的多编码器全卷积神经网络。但这些方法对数据集要求较高,需要不同放大倍数下的病理图像和对应标注，并且由于网络包含多个分支，导致网络参数量较大,需要大量的训练样本以防止模型出现过拟合。此外，张等人利用ASPP(Atrous spatial pyramid pooling)模块思想，利用空洞卷积提取多尺度特征，并将其融合获得更多的上下文信息，但该模块使用的空洞率增大时，容易丢失局部信息。
因此，针对到乳腺病理切片图像的复杂性、癌变细胞与正常细胞差异过小等问题，传统分割模型无法实现理想的分割效果。本发明设计了一种基于多尺度融合和注意力机制的乳腺组织切片癌变区域分割方法。使用U-Net++作为基准模型，利用残差注意力模块代替原始的卷积块，以此加深网络的深度和复杂度，并利用双注意力模块能分别在空间维度和通道维度对特征进行自适应调整，增强对病理图像的特征提取能力。最后在中间层添加多尺度特征融合模块，获取更大的感受野和上下文信息，改善病变区域和小目标区域的边界分割效果。最后利用全连接CRF作图像后处理，恢复图像细节部分，进一步提高癌变区域分割的准确率。
如图1本发明提供一种乳腺组织切片癌变区域分割方法，包括：
S101，基于患癌全切片及其中癌变区域的标注，制作训练集和测试集。
本发明是实施例中，数据集为每张患癌全切片的癌变区域都提供了xml格式的标注，结合原始病理切片(即患癌全切片)及区域注释，转换成切片对应的癌变区域掩码图。在掩码图中，癌变组织区域的像素值为255，正常组织区域的像素值为0；
再使用Ostu分割法分割组织区域，具体为：首先将患癌全切片转换为灰度图像，然后根据像素分布找出组织区域和背景方差最大时的灰度；将提取的组织区域转换成切片对应的组织区域掩码文件。需要说明的是，灰度是Ostu分割方法提取的图像参数，根据灰度值的变化来划分背景区域和非背景区域。
分别患癌全切片的正常组织区域和癌变区域，采用随机取样的方式抽取256×256像素大小的图像块。同时，对切片对应的掩码图像的对应位置进行同样的分割操作，提取同样大小的掩码块，作为图像块的像素级标签。提取的图像块包含的组织区域占整张图像块比例需大于50％，同时正常图像块不包含癌症像素，肿瘤图像块中需至少包含一个癌症像素。
得到的众多数量的图像块即为测试集和训练集的原始图像。
使用Reinhard色彩迁移方法将上述步骤所提取的病理组织图像块进行颜色归一化，并采用直方图均衡技术对图像块进行增强(例如对筛选后的每个图像块的三个颜色通道进行统计分析，分别计算其像素均值、标准方差，再对通道中每个像素值进行线性变换)，更加凸显乳腺组织病理细胞级特征，最后将数据集以8:2的比例分为训练集和测试集。
S102，设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型。
以U-Net++网络作为分割模型的主干网络，并在原始网络结构的解码器部分，减少跨尺度密集跳跃结构，使得解码器中每个节点只保存一次跳跃结构，并直接连接到右侧节点中。这种做法可以有效减少模型的参数量，并将网络更多的关注于特征提取部分，提高分割目标的识别准确率。
使用残差注意力块对模型中的卷积块进行替换，以此来加深网络深度，从而提高网络对正常组织区域、异常组织区域和背景的区分能力，改善正常组织和异常组织过渡区域的分割效果，得到如图2所示的残差注意力模块。
在具体的实施例中，残差注意力块结构包括：
对于给定的中间特征图输入F，首先经过两个卷积块，然后将特征分别输入到空间注意力模块和通道注意力模块中，再将两个模块输出的特征进行融合，最后输入特征与融合后的双注意力特征通过恒等映射作为输出。其中每个卷积块包含归一化层(BatchNormalization，BN)、ReLU层和卷积核为3×3的卷积层。与原始卷积块相比，残差注意力块删除了原有的最大池化操作，在第一个卷积块中采用步长为2的卷积，使特征图尺寸减小原来的一半来实现下采样，以此提高模型的计算速度。同时每个卷积层使用补零填充以保证输入尺寸的一致性。
在图2中，中间特征图输入F，一路经过BN和1*1的卷积，另一路通过串联的两个卷积块得到X，然后分别通过空间注意力机制得到XSA和通道注意力机制模块XCA，结合X经过矩阵乘法运算和逐元素相加得到X’，X’同1*1的卷积的卷积输出经过逐元素相加得到输出结果F’。
空间注意力机制包括：最大池化和平均池化层，二者经过通道叠加后输入至3*3卷积，经过BN和Sigmoid后输出XSA。
通道注意力机制包括：最大池化和平均池化层，二者经过shared MLP后分别输入至两个ReLU层，经过逐元素相加运算后输入至Sigmoid。
在编码器和解码器之间的中间层添加一个多尺度特征融合模块。多尺度特征融合模块为一个带有跳跃连接的三层膨胀率不同的空洞卷积组成，用来获取3种感受野的特征，捕获多尺度的图像属性和癌变组织的全局形状特征。
在具体的实施例中，如图3中，多尺度特征融合模块结构包括：
如图3所示，多尺度特征融合模块由三个膨胀率分别为6、12、18的空洞卷积组成，空洞卷积的卷积核为3×3，步长为1，每次空洞卷积之后紧跟一个ReLU层。利用跳跃连接将3种尺度的特征和经上采样操作后的输入特征在通道维度上进行融合。将不同尺度的特征融合后利用1×1的卷积将其转化为固定大小的特征图，从而提高网络调整不同感受野特征权重的能力，促进多尺度特征的融合。
使用翻转、旋转、裁剪等方式对训练集中的图像块和掩码图进行数据增强，增加训练集的多样性。使用收敛速度较快的Adam算法作为训练算法(使用收敛速度较快的Adam优化算法进行梯度下降)，在训练过程中采用交叉熵损失函数作为起始阶段的损失函数，当模型迭代到一定收敛程度，采用Dice损失函数对模型参数进行微调。
参见图4，为本发明实施例提供的，基于多尺度融合和注意力机制的分割网络结构图，第一层为5个跳跃连接的RAB(残差注意力模块)，第二为3个跳跃连接的RAB，且第一层的前3个和第二层的前2个RAB一次为下采样、上采样，共计2个上采样和2个下采样。第二层的第三个和第一层的第四个RAB模块上采样，第二层的四三个和第一层的第五个RAB模块上采样。
第三层为RAB、MFB(多尺度特征融合模块)、RAB依次跳跃连接。且第二层的前3个和第三层的RAB、MFB一次为下采样、上采样，共计2个上采样和2个下采样；第三层的第二个RAB和第二层的第四个RAB上采样。
第四层为2个跳跃连接的RAB，第三层的第一个RAB下采样第四层的第一个RAB，第四层的第一个RAB与第三层的MFB上采样连接，第四层的第二个RAB与第三层的第二个RAB上采样连接。
第五层为1个MFB，分别与第四层的第一个RAB下采样连接和与第四层的第二个RAB下采样连接。
以U-Net++作为模型的主干网络，为了减少模型参数，减少了U-Net++解码器部分的跳跃连接，跳跃连接结构如图5所示的弧形连接，图5是原始Unet++网络中的密集跳跃连接结构，因为链接过多，可能影响网络的性能，因此进行优化，本发明改进后的架构如图4所示删除跨多层的跳跃连接。同时利用残差注意力块对编码器和解码器中的卷积部分进行替换，提高模型的深度并使模型更关注癌变区域特征；在中间层添加多尺度融合模块，使模型能获得更大的感受野，在现有单一分辨率数据集的情况下，获取更多的上下文特征。
针对病理组织切片特征层次较深的问题,搭建了一个端到端的分割网络。使用一种简化的U-Net++架构，减少大量的跳跃连接。在减少训练参数的同时捕捉到更丰富、更复杂的图像特征,增强对病理组织切片的特征提取能力。
针对癌变区域分割目标形态大小各异的问题,网络中心部分采用多尺度特征融合模块,在不使用池化方式、保留图像信息的情况下得到多感受野特征,从而提高网络对多分辨率病理切片的特征提取能力及鲁棒性。
针对网络的可解释性与分割精度问题,设计残差注意力模块，对编码器和解码器的卷积块进行替代，以此加深网络的深度和复杂度。抑制每层网络对背景区域的特征响应,提高对分割目标的识别精度。
S103，将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果。
制作待检测的全切片分割数据集，利用滑动窗口在病理图像的组织区域提取256×256像素大小的图像块，并对图像块进行颜色归一化处理。
直接将图像块输入到已训练的基于多尺度融合和注意力机制的分割模型，进行癌变区域的预测。在预测结果中，图像块中每个像素都可以获得一个患癌概率p，p∈[0,1]。
根据所有像素的患癌概率值p，绘制图像块癌变区域热力图，并以红色区域显示恶性肿瘤所在区域。该分割结果可以预测癌变区域的存在和粗糙位置，但不能真正勾画出它们的边界。
S104，应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块。
将S103中的图像块癌变区域热力图作为输入，输入到改进的全连接CRF模型中，恢复热力图中详细的局部结构，进一步提高分割准确率。
在具体的实施例中，改进的全连接CRF模型结构包括：
应用吉布斯能量分布函数表示图像中某一标签分布情况，如下所示：
其中，一元项能量函数θi(xi)＝-logP(xi)，P(xi)表示图像块中第i个像素的患癌概率预测值。若预测的患癌概率值越大，则能量越小，预测越准确。二元项能量函数允许在使用全连通图时进行有效的推理，其函数如下所示：
θij(xi,xj)＝μ(xi,xj)(ω1k1,ω2k2)
其中，k1，k2为二元项能量函数的高斯核；σα，σβ，σγ为高斯核的标准差参数；ω1，ω2高斯函数的权重；pi，pj和Ii，Ij分别表示像素点i，j的位置信息和颜色信息；k1倾向于将位置相近且颜色相似的像素点归为同一类标签；k2可以将孤立的点融合为与周围像素相同的标签，从而增加分割结果的细节信息；μ(xi,xj)表示两个标签之间的兼容性度量，如果xi和xj的像素标签类别不相互兼容，那么对应的μ(xi,xj)取值较大，能量函数整体的取值也将上升。
S105，将所得到的图像块的进行拼接，形成全切片的分割结果。
设定阈值0.5，根据阈值对像素进行二值分割，将全切片中经过图像后处理操作的图像块转化为二值图像，其中癌像素为1，正常像素为0。
将处理后的分割图拼接成和原全切片尺寸相同的图像，形成整个全切片的分割结果。
针对分割网络生成的分割结果组织边界缺少详细的局部结构的问题，采用全连接条件随机场做图像后处理，恢复图像细节部分，进一步提高分割的准确率。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种乳腺组织切片癌变区域分割方法，其特征在于，所述方法包括：
基于患癌全切片及其中癌变区域的标注，制作训练集和测试集；
设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型；
将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果；
应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块；
将所得到的图像块的进行拼接，形成全切片的分割结果。
2.根据权利要求1所述的乳腺组织切片癌变区域分割方法，其特征在于，所述基于患癌全切片及其中癌变区域的标注，制作训练集和测试集步骤，包括：
基于预先提供的数据集，获得其中每张患癌全切片的非癌变区域、癌变区域及癌变区域对应的标注，并将每一张患癌全切片转换成对应的癌变区域掩码图，在掩码图中，癌变区域的像素值为255，非癌变区域的像素值为0；
使用Ostu分割法，将患癌全切片转换为灰度图像，并根据像素分布找出组织区域和背景方差最大时的灰度，根据所获取的灰度将提取的组织区域转换成切片对应的组织区域掩码文件；
分别在患癌全切片的非癌变区域和癌变区域，采用随机取样的方式抽取256×256像素大小的图像块，并对该患癌切片的掩码图像对应位置进行分割操作，提取同样大小的掩码块；提取的图像块包含的组织区域占整张图像块比例需不小于50％，同时正常图像块不包含癌症像素，肿瘤图像块中需至少包含一个癌症像素；
用Reinhard色彩迁移方法将所提取的图像块进行颜色归一化，并采用直方图均衡技术对图像块进行增强，更加凸显乳腺组织病理细胞级特征，最后将数据集以预设比例分为训练集和测试集。
3.根据权利要求1或2所述的乳腺组织切片癌变区域分割方法，其特征在于，所述设计基于多尺度融合和注意力机制的分割模型的步骤，包括：
以U-Net++网络模型作为分割模型的主干网络，并对原U-Net++网络模型的解码器部分进行优化，减少大量的跳跃结构，使得解码器中每个节点只保存一次跳跃结构，并直接连接到预设侧节点中；
使用残差注意力块对原U-Net++网络模型的卷积块进行替换，得到基于多尺度融合和注意力机制的分割模型；
对于给定的中间特征图输入F，经过两个卷积块，将特征分别输入到空间注意力模块和通道注意力模块中，将两个模块输出的特征进行融合，输入特征与融合后的双注意力特征通过恒等映射作为输出，其中每个卷积块包含归一化层BN、ReLU层和卷积核为3×3的卷积层；
在编码器和解码器之间的中间层添加一个多尺度特征融合模块。多尺度特征融合模块为一个带有跳跃连接的三层膨胀率不同的空洞卷积组成，用来获取3种感受野的特征，捕获多尺度的图像属性和癌变组织的全局形状特征；
多尺度特征融合模块由三个膨胀率分别为6、12、18的空洞卷积组成，空洞卷积的卷积核为3×3，步长为1，每次空洞卷积之后紧跟一个ReLU层；利用跳跃连接将3种尺度的特征和经上采样操作后的输入特征在通道维度上进行融合；将不同尺度的特征融合后利用1×1的卷积将其转化为固定大小的特征图。
4.根据权利要求3所述的乳腺组织切片癌变区域分割方法，其特征在于，所述采用所述训练集对所述分割模型进行训练，获得训练后的分割模型，包括：
使用翻转、旋转、裁剪方式对训练集中的图像块和掩码图进行数据增强，使用收敛速度较快的Adam优化算法，在训练过程中采用交叉熵损失函数作为起始阶段的损失函数，当模型迭代到一定收敛程度，采用Dice损失函数对模型参数进行调整。
5.根据权利要求1-2或者4中任一项所述的乳腺组织切片癌变区域分割方法，其特征在于，所述将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果的步骤，包括：
制作待检测的全切片图像的分割数据集，利用滑动窗口在病理图像的组织区域提取256×256像素大小的待检测图像块，并对待检测图像块进行颜色归一化处理；
将待检测图像块输入到已训练的分割模型，进行癌变区域的预测；在预测结果中，待检测图像块中每个像素都可以获得一个患癌概率；
根据所有像素的患癌概率值，绘制待检测图像块的癌变区域热力图，并以设定颜色区域显示恶性肿瘤所在区域，该分割结果用以预测癌变区域的存在和位置。
6.根据权利要求1所述的乳腺组织切片癌变区域分割方法，其特征在于，所述应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块的步骤，包括：
所述全连条件随机场CRF模型的结构包括：
应用吉布斯能量分布函数表示图像中的一个标签分布情况E(x|I)：
其中，一元项能量函数θi(xi)＝-logP(xi)，P(xi)表示图像块中第i个像素的患癌概率预测值，若预测的患癌概率值越大，则能量越小，预测越准确二元项能量函数θij(xi,xj)具体表达为：
θij(xi,xj)＝μ(xi,xj)(ω1k1,ω2k2)
其中，k1，k2为二元项能量函数的高斯核；σα，σβ，σγ为高斯核的标准差参数；ω1，ω2高斯函数的权重；pi，pj和Ii，Ij分别表示像素点i，j的位置信息和颜色信息，μ(xi,xj)表示两个标签之间的兼容性度量。
7.根据权利要求1所述的乳腺组织切片癌变区域分割方法，其特征在于，所述将所得到的图像块的进行拼接，形成全切片的分割结果的步骤，包括：
通过设定的阈值，将全切片中经过图像后处理操作的图像块转化为二值图像，其中癌像素为1，正常像素为0。
将处理后的分割图拼接成和原全切片尺寸相同的图像，形成整个全切片的分割结果。
8.一种乳腺组织切片癌变区域分割装置，其特征在于，包括：
制作模块，用于基于患癌全切片及其中癌变区域的标注，制作训练集和测试集；
训练模块，用于设计基于多尺度融合和注意力机制的分割模型，并采用所述训练集对所述分割模型进行训练，获得训练后的分割模型；
分割模块，用于将待检测的全切片图像输入已训练的分割模型中，得到热力图形式的分割结果；
细化模块，用于应用全连接条件随机场CRF模型对分割结果进行细化，得到图像块；
拼接模块，用于将所得到的图像块的进行拼接，形成全切片的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211111864.1A CN115439493A (zh) | 2022-09-13 | 2022-09-13 | 一种乳腺组织切片癌变区域分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211111864.1A CN115439493A (zh) | 2022-09-13 | 2022-09-13 | 一种乳腺组织切片癌变区域分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115439493A true CN115439493A (zh) | 2022-12-06 |
Family
ID=84246992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211111864.1A Pending CN115439493A (zh) | 2022-09-13 | 2022-09-13 | 一种乳腺组织切片癌变区域分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439493A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252893A (zh) * | 2023-11-17 | 2023-12-19 | 科普云医疗软件(深圳)有限公司 | 一种乳腺癌病理图像的分割处理方法 |
-
2022
- 2022-09-13 CN CN202211111864.1A patent/CN115439493A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252893A (zh) * | 2023-11-17 | 2023-12-19 | 科普云医疗软件(深圳)有限公司 | 一种乳腺癌病理图像的分割处理方法 |
| CN117252893B (zh) * | 2023-11-17 | 2024-02-23 | 科普云医疗软件(深圳)有限公司 | 一种乳腺癌病理图像的分割处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017191B (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN110110799B (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
| CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN111402267B (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| CN112183635A (zh) | 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法 | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN111784711A (zh) | 一种基于深度学习的肺部病理图像分类与分割方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN113065551A (zh) | 利用深度神经网络模型执行图像分割的方法 | |
| CN113516126A (zh) | 一种基于注意力特征融合的自适应阈值场景文本检测方法 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
| CN115439493A (zh) | 一种乳腺组织切片癌变区域分割方法及装置 | |
| CN117036281A (zh) | 一种缺陷图像的智能生成方法及其系统 | |
| CN111986210B (zh) | 一种医学影像小病灶分割方法 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| CN111666977A (zh) | 一种单色图像的阴影检测方法 | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| CN115457061A (zh) | 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |