CN115018864A - 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 - Google Patents
基于自适应预处理的三阶段肝脏肿瘤图像分割方法 Download PDFInfo
- Publication number
- CN115018864A CN115018864A CN202210692381.9A CN202210692381A CN115018864A CN 115018864 A CN115018864 A CN 115018864A CN 202210692381 A CN202210692381 A CN 202210692381A CN 115018864 A CN115018864 A CN 115018864A
- Authority
- CN
- China
- Prior art keywords
- stage
- attention
- network
- segmentation
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 50
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 45
- 238000007781 pre-processing Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003709 image segmentation Methods 0.000 title claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 title claims description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 210000004185 liver Anatomy 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 69
- 230000007246 mechanism Effects 0.000 claims description 52
- 206010028980 Neoplasm Diseases 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013170 computed tomography imaging Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 description 9
- 201000007270 liver cancer Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，属于图像处理领域。本发明将CT图像的窗位窗宽预处理融合进深度学习网络作为整个网络的第一阶段，以针对不同场景机器环境下的CT成像差异，获取较好的预处理结果，提高最终的肝脏肿瘤分割精度。第二阶段为分割肝脏感兴趣区域的U型网络，第三阶段为最终的肝脏肿瘤精细分割网络。整个网络分为三个阶段，第一阶段负责预处理，第二阶段提取感兴趣区域，以排除不相关的干扰，第三阶段接收第二阶段的监督以实现精细分割。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及基于自适应预处理的三阶段肝脏肿瘤图像分割方法。
背景技术
肝癌即肝脏恶性肿瘤，是世界上常见的癌症之一，每年都会有大量由肝癌引起的死亡，因此，肝癌的治疗一直备受关注。目前可以达到治愈肝癌的手段是肝癌病变切除手术，手术将精准切除肿瘤病变区域，同时保证非病变区域完整性。
传统做法是由放射科医生沿着CT图像逐层描绘肝脏和肝脏病变区域，以手动分割肿瘤，但这非常耗费时间和精力，而且容易出现所有人工操作中不可避免的误差，如受医生之间的个体性差异、医生的精神状态、经验及水平影响等等。
为解决人工分割的缺陷，研究者提出一些半自动分割方法，如基于灰度、基于结构的分割方法，以及聚类和分类法，这些算法相较于人工分割降低了分割成本，也提高了分割效率。这类方法在初始阶段需要人工设置特征，如区域生长法，须选中初始区域，然后从该区域出发，采用某种准则，不断地归并周围相似的像素，从而实现区域面积的逐步增长。因此在区域生长法中，初始区域的选定对后续的算法十分关键，这同样取决于医生的经验和水平，所以半自动分割虽然准确率较高，但依然没有彻底摆脱人工依赖，面对临床实践中的大量应用需求还是无法满足。
深度学习的出现，推动了计算机视觉领域的研究进入又一个高潮，尤其是CNN促进了图像领域的发展。深度学习利用神经网络自动提取特征，克服了传统算法人工提取特征的局限，通过端到端的学习方法，在反向传播中不断地调整参数来优化训练，以实现全自动分割任务，在节省工作和时间的同时也提高了精度，因此在医学图像处理领域得到了广泛应用。
但是肝脏肿瘤的精确分割一直是深度学习的难点，肝脏和邻近器官之间的对比度较低，从CT图像中自动分割肝脏并不容易，而肝脏肿瘤的分割相比肝脏分割则更具难度。首先，不同病人的CT图像，甚至是同一病人CT图像的不同扫描断层中，肝脏肿瘤的位置、大小、数目以及形状都在随着扫描层的变化而不断变化；其次，不可忽视的影像噪声和模糊的病变边界也严重影响不少分割方法的性能；此外，不同组织结构和病变区域的CT值通常并不相同，一般原始CT图像中的CT值具有较大的动态范围，也就说明其中包含许多与分割任务无关的器官或组织，如果直接将原始图像送入网络，则训练会受到很大干扰，效果不理想，因此在对CT切片预处理时要选择合适的窗位和窗宽，使肝脏结构细节更为凸显。传统的做法是手动设定窗位和窗宽来对CT值进行截断，如LiTs数据集的预处理中，Li等人设置的CT窗口为[-200,250]HU，Han等人设置的窗口为[-200,200]HU，而Lei等人则选用了[-160,240]HU的窗口。
Long等人在CNN的基础上提出了全卷积网络FCN，推动了图像语义分割任务的解决。FCN中没有全连接层，仅包含卷积层和池化层，且输入图像可以为任意尺寸。在FCN的基础上，研究者又提出了许多新的网络模型，最著名的就是U-Net网络，其它很多网络都是对U-Net网络的改进。U-Net结构分为编码器和解码器，各自由多个卷积层和多个反卷积层组成，解码器中采用跳跃连接以融合高层语义信息和低层语义信息，完美符合肝脏肿瘤图像中器官及组织整体分布简单，但边缘信息较为模糊，难以分割的特点，丰富了神经网络学习到的语义特征。因此U-Net网络在分割肝脏肿瘤图像领域有着极大的优势。
注意力机制本质上是在模拟人类视觉，视觉集中点由画面中的关键信息延伸到周围的次要信息，对应注意力机制中学习各类特征对结果数据的贡献大小。本质上注意力机制是对模型的每个部分赋予不同权重，以加强更为关键的局部信息。在计算机视觉领域，也有不少研究人员探索了在卷积神经网络中使用注意力机制来提升图像处理效果的方法，其中很多是使用掩码(mask)学习另一层新的权重分布，然后作用于原特征图上进行加权，使模型在训练过程中专注于学习重要信息，忽略不重要信息。类似于通道注意力、空间注意力和自注意力等，都被证实有利于提高网络性能。通道注意力在通道上对特征图进行压缩，从而赋予各通道以不同的强调权重，学习不同通道间的关联性；而空间注意力则在通道注意力的基础上寻找特征信息聚集更多的位置，作为通道注意力的补充；自注意力机制通过(key,query,value)的三元组对空间全局信息建立长距离依赖，从而获得更为全面的细节特征映射。三者均提高特征表达能力。在深度学习肝脏肿瘤图像分割任务中，也有一些关于注意力机制的尝试，例如将通道注意力、空间注意力或将self-attention机制进行改进以降低计算量融入U-Net的跳跃连接或编码器部分，从而达到更有效的特征提取。
图像分割任务可以视为像素级的分类问题，适合使用交叉熵损失进行监督学习。但在肝脏肿瘤分割任务中，一共有三种需要学习的分类：背景、肝脏和肿瘤。肿瘤部位通常面积较小，在肝脏区域中并不起眼，而且背景区域的面积也很大，相比而言，肿瘤所占的像素点太少，这样的现象称为样本不平衡问题。一般的交叉熵函数在引导神经网络反向传播时会过多关注背景和肝脏区域，而不会使得网络参数向着优化肿瘤分割的方向更新。为了解决上述问题，通常在交叉熵损失中为背景、肝脏和肿瘤分别赋予权重，其中肿瘤的权重设置得大一些，以强调肝脏肿瘤对网络分类的重要性。此外，也有很多研究人员将交叉熵损失函数与基于分割评价指标的损失函数相结合，从而在优化过程中获得全局视角，弥补像素级分类的缺陷，获得更为理想的分割效果。
发明内容
本发明目的在于提供一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法,以解决传统预处理方式的主观性高、肿瘤分割存在的困难的技术问题。
为解决上述技术问题，本发明的具体技术方案如下：
一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，包括如下步骤：
步骤1：CT切片图像获取和CT切片图像基础预处理：
首先通过对3D的CT图像进行切片化得到二维的CT切片图像，然后对CT切片图像和对CT切片进行背景、肝脏、肿瘤真实分割后的标签同时进行随机旋转、平移、放缩以及加噪数据增强手段；
步骤2：构建第一阶段自适应预处理网络：
使用神经网络模拟步骤1生成的CT切片图像的窗位窗宽预处理，通过水平和垂直方向分解后的空间注意力进行全局信息建模，经过全局池化获得截断阈值，以达到自适应学习CT切片图像合适的窗位窗宽的目的，使分割结果不亚于手动设置；
步骤3：构建第二阶段U型肝脏感兴趣区域分割网络：
使用U-Net网络构建第二阶段的U型肝脏感兴趣区域分割网络，U型网络分为编码器和解码器两部分，编码器中采用VGG16提取图像特征，解码器采用反卷积；
步骤4：联合训练第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络；
使用步骤1处理好的CT切片图像划分第一阶段和第二阶段网络联合训练的训练集、验证集和测试集用于训练，采用迁移学习的训练方式获得第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的模型参数以及肝脏的粗分割结果；
步骤5：构建第三阶段U型注意力机制网络：
首先构建第三阶段U型框架，第三阶段U型框架由U-Net网络添加注意力机制形成，在U-Net网络的跳跃连接中加入多尺度注意力机制和窗口注意力机制，多尺度注意力应用不同大小的卷积核进行多尺度特征提取，然后由两层的多层感知器生成多尺度的自适应权值；再由窗口注意力聚合语义信息中每个窗口的邻近特征，生成局部注意力权重；多尺度注意力和窗口注意力级联，多尺度注意力输出作为窗口注意力输入，在多尺度特征的基础上进一步融合空间信息，形成第三阶段U型注意力机制网络；
步骤6：联合训练三阶段U型网络：
使用步骤1处理好的CT切片图像划分第一阶段、第二阶段、第三阶段联合训练的训练集、验证集和测试集用于训练，并使用第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的肝脏粗分割结果指导训练集切片的分割，采用迁移学习的训练方式获得肿瘤的精细分割；
步骤7：三阶段联合网络实现肝脏肿瘤图像端到端分割：
将待处理的肝脏肿瘤CT切片输入到三阶段联合网络进行全自动的肝脏肿瘤分割。
进一步的，步骤2的第一阶段自适应预处理网络包括前置卷积、阈值截断、后置卷积三部分，其中阈值截断应用空间注意力对空间信息进行了水平和垂直分解，从而进行全局信息建模，然后由全局平均池化保存全部特征信息的同时降低信息处理的维度，再经过权重学习层自适应寻找合适的单边截断阈值，最后根据该阈值对肝脏肿瘤图像进行窗位窗宽预处理；
空间注意力具体做法是先将每个图像通道上的特征图分解为水平和垂直两方向分别进行编码，再对编码后的特征拼接聚合，最后再次分解学习各自方向上的注意力权重，使得沿着一个空间方向映射长距离语义信息的同时也不会缺失另一个空间方向上的位置信息，从而帮助模型定位感兴趣对象；如式(1)、式(2)和式(3)所示：
f＝δ(F1([zh，zw])) (3)
将学习到空间信息的中间特征图重新拆分为水平和垂直方向特征图，并最终学习到两个方向上的注意力权重，如式(4)和式(5)所示：
gh＝σ(Fh(fh)) (4)
gw＝σ(Fw(fw)) (5)
gh表示水平方向上的注意力权重，gw表示垂直方向上的注意力权重，Fh和Fw表示1×1卷积，σ表示激活函数；生成的两个方向上的权重对输入特征图进行加权，得到强调空间位置的注意力结果。
进一步的，步骤5中的U型的注意力机制网络包含了多尺度注意力机制，实现语义信息的多尺度特征提取；
多尺度注意力机制包括多尺度特征提取和自适应权重两个部分，多尺度特征提取如式(6)所示：
式中，HF表示编码器中的高层语义信息，LF表示对应解码器中的低层语义信息，up表示上采样操作，则HF+up(LF)为多尺度注意力的输入，
表示具有n路不同感受野的多尺度卷积，concat(·)表示特征图拼接，Fmed表示生成的中间特征图；
多尺度特征图的自适应权重由两层的多层感知器生成，如式(7)所示：
Weights＝f(δ(f(Conv(Fmed)))) (7)
Conv(·)表示卷积模块，f为全连接层，δ为ReLU激活函数，Weights表示生成的多尺度权重；
生成的权重对输入进行加权，得到自适应加权的多尺度注意力结果。
进一步的，步骤5中的U型的注意力机制网络包含了窗口注意力机制，获得更加细粒度的特征表示；
窗口注意力将输入信息X编码成(K2，K2)大小，K为局部感知尺寸，并以此为窗口计算每个位置与周围K2个位置之间的注意力权重，如式(8)：
attn＝SofTmax(reshape(f(X))) (8)
式(8)中attn是生成的注意力特征图，Softmax(·)表示softmax函数，reshape表示特征图形状的改变，即改变为(K2，K2)形状，f为全连接层；
然后将注意力权重作用于原始的输入特征图，产生空间信息的局部聚合权重，如式(9)和式(10)所示：
V＝reshape(Unfold(f(X))) (9)
Y＝Fold(Matmul(attn，V)) (10)
式(9)和式(10)中，V表示投影后的特征图，Y表示最终输出的特征图，reshape表示将特征图形状改变为(C，K*K，H*W)，C为特征图通道数，Unfold表示展开操作，也就是取出K*K区域，相当于在特征图中滑动窗口，Fold表示Unfold的逆操作，还原特征图，f为全连接层，将输入投影到一个新的特征图，Matmul(·)表示矩阵乘法。
进一步的，步骤5跳跃连接中多尺度注意力机制和窗口注意力机制级联，多尺度注意力的输出为窗口注意力的输入，两种注意力分别产生注意力权重作用于各自的输入；由此编码器中的高层语义信息和解码器中的低层语义信息有机融合后，再与原先的高层语义信息建立短连接，所获的整体注意力特征信息与原先的低层语义信息进行特征拼接，然后经过两级3×3卷积作为解码器下一级的低层语义信息输入。
进一步的，对于步骤4和步骤6的联合训练使用加权交叉熵结合Dice损失以解决肝脏肿瘤CT图像中肝脏样本和肿瘤样本不平衡问题。
进一步的，在步骤4和步骤6网络训练的过程中，使用NVIDIA GeForce RTX 3090训练网络，在网络收敛时停止训练。
本发明的基于自适应预处理的三阶段肝脏肿瘤图像分割方法具有以下优点：
1、本发明针对传统预处理方式的主观性和经验性，将窗位窗宽由手动调整为固定值替代为神经网络自适应学习，并提出改进的空间注意力，从水平和垂直两方向分别建立空间信息的长范围依赖，有利于去除图像中与肝脏肿瘤分割任务不相关的区域。
2、本发明针对肿瘤分割存在的困难，先用普通的U-Net网络粗分割肝脏区域，然后以此结果指导肿瘤的精细分割，降低肿瘤分割的计算成本和训练难度，结合自适应预处理网络形成三阶段肝脏肿瘤图像分割网络。
3、本发明针对第三阶段U-Net网络中跳跃连接没有对编码器传来的信息进行筛选，导致分割结果出现边界模糊，提出多尺度注意力机制和窗口注意力机制，前者融合多个尺度的感受域，并与多层感知器相结合，形成多尺度的自适应权重；后者聚合语义信息中每个窗口的邻近特征，从而编码更为细粒的信息，二者级联，前者输出作为后者输入。
附图说明
图1是本发明的实施流程图；
图2是普通U-Net网络的结构示意图；
图3是自适应窗位窗宽预处理结构示意图；
图4是多尺度注意力机制的结构示意图；
图5是窗口注意力机制的结构示意图；
图6是将两种注意力机制级联嵌入U-Net网络跳跃连接的结构示意图；
图7是本发明的输入和输出结果图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法做进一步详细的描述。
实施流程图如图1所示，具体包括如下步骤：
步骤1：CT切片图像获取和CT切片图像基础预处理
首先对3D的CT图像进行切片化得到二维的CT切片图像，并对CT切片和CT切片进行背景、肝脏、肿瘤真实分割后的标签同时进行随机旋转、平移、放缩以及加噪等数据增强手段，以优化网络的训练，防止出现过拟合的现象；原始的CT切片空间分辨率为512×512；
步骤2：构建第一阶段自适应预处理网络
由于机器、场景、病人不同，CT成像也有所差异，即使是相同的CT成像切片，窗位窗宽的设置也受研究人员的主观性和经验性影响，另外也应该根据实际使用的模型和具体的分割要求来进一步确定，因此将CT图像的切片输入自适应预处理神经网络，以获得自适应的窗位窗宽。结合图3，该网络包括前置卷积、阈值截断、后置卷积三部分，其中阈值截断的主要思想为：通过改进的空间注意力对空间信息进行了水平和垂直分解，从而对全局信息建模，提取对分割任务最重要的区域；然后由全局平均池化保存全部特征信息的同时降低信息处理的维度，再经过权重学习层自适应寻找合适的单边截断阈值，最后根据该阈值对肝脏肿瘤图像进行截断，以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，使分割结果不亚于手动设置的效果；
空间注意力中具体做法是先将每个图像通道上的特征图分解为水平和垂直两方向分别进行编码，再对编码后的特征拼接聚合，最后再次分解学习各自方向上的注意力权重，使得沿着一个空间方向映射长距离语义信息的同时也不会缺失另一个空间方向上的位置信息，从而帮助模型更好地定位感兴趣对象：
f＝δ(F1([zh，zw]))
将学习到空间信息的中间特征图重新拆分为水平和垂直方向特征图，并最终学习到两个方向上的注意力权重：
gh＝σ(Fh(fh))
gw＝σ(Fw(fw))
gh和gw分别表示水平和垂直方向上的注意力权重，Fh和Fw表示1×1卷积，σ表示激活函数。生成的两个方向上的权重同时对输入特征图进行加权，得到强调空间位置的注意力结果；
步骤3：构建第二阶段U型网络
使用普通的U-Net网络粗提取肝脏感兴趣区域，U型网络分为编码器和解码器两部分，编码器中采用VGG16提取图像特征，解码器采用反卷积；
步骤4：联合训练第一、二阶段网络
使用步骤1处理好的CT切片图像划分第一阶段和第二阶段网络联合训练的训练集、验证集和测试集，联合训练第一、二阶段网络；训练过程中为了减少模型的优化难度以及加速模型的训练，使用了迁移学习的训练方法，具体的实施步骤为：先冻结U-Net网络的预训练参数，单独训练自适应预处理网络，训练一段时间待模型精度提升后再解冻，进行所有参数的训练，获得一、二阶段网络联合训练的模型参数以及肝脏的粗分割结果；网络训练的过程中，使用NVIDIA GeForce RTX 3090GPU训练网络，在网络收敛时停止训练；
步骤5：构建第三阶段U型网络
U-Net网络的基础架构包括编码网络和解码网络，编码网络包含四层，负责特征提取，充分提取语义信息；同时编码网络的特征也会被馈送到解码网络辅助解码网络的语义分割；解码网络也包含四层，每一层分别对应编码网络的每一层；解码网络的每一层都由反卷积构成；
编码网络和解码网络之间通过跳跃连接来传递信息，在跳跃连接中加入多尺度注意力机制和窗口注意力机制；先对编码器的高层语义信息和解码器的低层语义信息融合，作为多尺度注意力的输入，多尺度注意力应用不同大小的卷积核进行多尺度特征提取，然后采用两层的多层感知器压缩通道数量，捕捉非线性的跨通道交互信息，生成多尺度的自适应权值；窗口注意力聚合语义信息中每个窗口的邻近特征，生成局部注意力权值，并且由稠密的局部空间将特征进行聚集映射，从而高效地编码细粒度信息，以实现空间信息的自适应优化；两种注意力机制相级联，多尺度注意力机制输出作为窗口注意力机制输入，并与原始的高层语义信息建立短连接相加；跳跃连接最终得到的注意力特征图与编码器中对应的低层语义信息相结合，辅助原先的高层语义信息实现精确分割；
结合图4，多尺度注意力机制包括多尺度特征提取和自适应权重两个部分，首先是多尺度特征提取，由不同大小的卷积核获取不同感受野的信息：
式中，HF表示经过多尺度特征提取后的高层语义信息，LF表示对应解码器中的低层语义信息，up表示上采样操作，则HF+up(LF)为多尺度注意力的输入，
表示具有n路不同感受野的多尺度卷积，concat(·)表示特征图拼接，Fmed表示生成的中间特征图；
多尺度特征图的自适应权重由两层的多层感知器生成，设置压缩比为r来降低计算量：
Weights＝f(δ(f(Conv(Fmed))))
Conv(·)表示卷积模块，f为全连接层，δ为ReLU激活函数，Weights表示生成的多尺度权重；
生成的权重对输入进行加权，得到自适应加权的多尺度注意力结果；
结合图5，窗口注意力分为窗口权重生成和投影窗口提取两路，前者聚合语义信息中每个窗口的邻近特征，将输入信息X编码成(K2，K2)大小，K为局部感知尺寸，并以此为窗口计算每个位置与周围K2个位置之间的注意力权重：
attn＝SofTmax(reshape(f(X)))
式中Softmax(·)表示softmax函数，reshape表示特征图形状的改变，即改变为(K2，K2)形状，f为全连接层；
后者在特征值投影后展开为所须作用的窗口尺寸，与注意力权重相乘产生空间信息的局部聚合权重，并折叠特征图恢复输入尺寸，完成窗口注意力：
V＝reshape(Unfold(f(X)))
Y＝Fold(Matmul(attn，V))
V表示投影后的特征图，Y表示最终输出的特征图，reshape表示将输入特征图形状改变为(C，K×K，H×W)，Unfold表示展开操作，也就是取出K×K区域，相当于在特征图中滑动窗口，Fold表示Unfold的逆操作，还原特征图，f为全连接层，将输入投影到一个新的特征图，Matmul(·)表示矩阵乘法；
窗口注意力通过对每个位置的周围K×K个位置进行注意力操作，深层次地挖掘局部细粒特征，最终获得整个空间维度的加权信息；
结合图6，跳跃连接中多尺度注意力机制和窗口注意力机制级联，分别产生注意力权重，多尺度注意力机制的输出为窗口注意力机制的输入；由此编码器中的高层语义信息和解码器中的低层语义信息有机融合后，经过两种注意力机制后再与原先的高层语义信息建立短连接，所获的整体注意力特征信息与原先的低层语义信息进行特征拼接，然后经过两级3×3卷积作为解码器下一级的低层语义信息输入；
在肝脏肿瘤图像分割任务中，使用加权交叉熵结合Dice损失来解决肝脏肿瘤分割任务中肿瘤和肝脏、背景之间严重的样本不平衡问题。图像分割任务适合使用交叉熵损失进行监督学习。但在肝脏肿瘤分割任务中，肿瘤与肝脏、背景区域之间存在严重的样本不平衡，一般的交叉熵函数在引导神经网络反向传播时会过多关注背景和肝脏区域，而不会使得网络参数向着优化肿瘤分割的方向更新。通常在交叉熵损失中为背景、肝脏和肿瘤分别赋予权重，其中肿瘤的权重设置得大一些，以强调肝脏肿瘤对网络分类的重要性。而Dice损失基于区域计算，当前像素的损失不仅和当前像素的预测值相关，和其它像素的值也相关，因此使得训练朝着优化前景区域的方向进行，而不会产生样本不平衡问题。
步骤6：联合训练三阶段U型网络
使用步骤1处理好的切片数据划分第一阶段、第二阶段、第三阶段联合训练的训练集、验证集和测试集，并使用一、二阶段联合训练的肝脏粗分割结果指导训练集切片的分割，具体做法为：将肝脏粗分割结果用激活函数Sigmoid处理加权作用于训练集切片，并与原始的训练集切片进行特征图拼接，后接卷积模块特征学习后作为第三阶段网络的输入；迁移学习在三阶段联合训练的具体实施步骤为：将一、二阶段联合训练好的网络迁移至三阶段分割模型中，先冻结前两阶段网络和第三阶段网络中U-Net的预训练参数，训练一段时间待精度提升后，再将全部网络解冻，进行三阶段网络联合训练，获得肿瘤的精细分割；网络训练的过程中，使用NVIDIA GeForce RTX 3090GPU训练网络，在网络收敛时停止训练。
步骤7：三阶段联合网络实现肝脏肿瘤图像端到端分割
将待处理的肝脏肿瘤CT切片输入到三阶段联合网络进行全自动的肝脏肿瘤分割。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (7)
1.一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，包括如下步骤：
步骤1：CT切片图像获取和CT切片图像基础预处理：
首先通过对3D的CT图像进行切片化得到二维的CT切片图像，然后对CT切片图像和对CT切片进行背景、肝脏、肿瘤真实分割后的标签同时进行随机旋转、平移、放缩以及加噪数据增强手段；
步骤2：构建第一阶段自适应预处理网络：
使用神经网络模拟步骤1生成的CT切片图像的窗位窗宽预处理，通过水平和垂直方向分解后的空间注意力进行全局信息建模，经过全局池化获得截断阈值，以达到自适应学习CT切片图像合适的窗位窗宽的目的，使分割结果不亚于手动设置；
步骤3：构建第二阶段U型肝脏感兴趣区域分割网络：
使用U-Net网络构建第二阶段的U型肝脏感兴趣区域分割网络，U型网络分为编码器和解码器两部分，编码器中采用VGG16提取图像特征，解码器采用反卷积；
步骤4：联合训练第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络；
使用步骤1处理好的CT切片图像划分第一阶段和第二阶段网络联合训练的训练集、验证集和测试集用于训练，采用迁移学习的训练方式获得第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的模型参数以及肝脏的粗分割结果；
步骤5：构建第三阶段U型注意力机制网络：
首先构建第三阶段U型框架，第三阶段U型框架由U-Net网络添加注意力机制形成，在U-Net网络的跳跃连接中加入多尺度注意力机制和窗口注意力机制，多尺度注意力应用不同大小的卷积核进行多尺度特征提取，然后由两层的多层感知器生成多尺度的自适应权值；再由窗口注意力聚合语义信息中每个窗口的邻近特征，生成局部注意力权重；多尺度注意力和窗口注意力级联，多尺度注意力输出作为窗口注意力输入，在多尺度特征的基础上进一步融合空间信息，形成第三阶段U型注意力机制网络；
步骤6：联合训练三阶段U型网络：
使用步骤1处理好的CT切片图像划分第一阶段、第二阶段、第三阶段联合训练的训练集、验证集和测试集用于训练，并使用第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的肝脏粗分割结果指导训练集切片的分割，采用迁移学习的训练方式获得肿瘤的精细分割；
步骤7：三阶段联合网络实现肝脏肿瘤图像端到端分割：
将待处理的肝脏肿瘤CT切片输入到三阶段联合网络进行全自动的肝脏肿瘤分割。
2.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，所述步骤2的第一阶段自适应预处理网络包括前置卷积、阈值截断、后置卷积三部分，其中阈值截断应用空间注意力对空间信息进行了水平和垂直分解，从而进行全局信息建模，然后由全局平均池化保存全部特征信息的同时降低信息处理的维度，再经过权重学习层自适应寻找合适的单边截断阈值，最后根据该阈值对肝脏肿瘤图像进行窗位窗宽预处理；
空间注意力具体做法是先将每个图像通道上的特征图分解为水平和垂直两方向分别进行编码，再对编码后的特征拼接聚合，最后再次分解学习各自方向上的注意力权重，使得沿着一个空间方向映射长距离语义信息的同时也不会缺失另一个空间方向上的位置信息，从而帮助模型定位感兴趣对象；如式(1)、式(2)和式(3)所示：
f＝δ(F1([zh,zw])) (3)
将学习到空间信息的中间特征图重新拆分为水平和垂直方向特征图，并最终学习到两个方向上的注意力权重，如式(4)和式(5)所示：
gh＝σ(Fh(fh)) (4)
gw＝σ(Fw(fw)) (5)
gh表示水平方向上的注意力权重，gw表示垂直方向上的注意力权重，Fh和Fw表示1×1卷积，σ表示激活函数；生成的两个方向上的权重对输入特征图进行加权，得到强调空间位置的注意力结果。
3.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，步骤5中的U型的注意力机制网络包含了多尺度注意力机制，实现语义信息的多尺度特征提取；
多尺度注意力机制包括多尺度特征提取和自适应权重两个部分，多尺度特征提取如式(6)所示：
式中，HF表示编码器中的高层语义信息，LF表示对应解码器中的低层语义信息，up表示上采样操作，则HF+up(LF)为多尺度注意力的输入，
表示具有n路不同感受野的多尺度卷积，concat(·)表示特征图拼接，Fmed表示生成的中间特征图；
多尺度特征图的自适应权重由两层的多层感知器生成，如式(7)所示：
Weights＝f(δ(f(Conv(Fmed)))) (7)
Conv(·)表示卷积模块，f为全连接层，δ为ReLU激活函数，Weights表示生成的多尺度权重；
生成的权重对输入进行加权，得到自适应加权的多尺度注意力结果。
4.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，步骤5中的U型的注意力机制网络包含了窗口注意力机制，获得更加细粒度的特征表示；
窗口注意力将输入信息X编码成(K2,K2)大小，K为局部感知尺寸，并以此为窗口计算每个位置与周围K2个位置之间的注意力权重，如式(8)：
attn＝Softmax(reshape(f(X))) (8)
式(8)中attn是生成的注意力特征图，Softmax(·)表示softmax函数，reshape表示特征图形状的改变，即改变为(K2,K2)形状，f为全连接层；
然后将注意力权重作用于原始的输入特征图，产生空间信息的局部聚合权重，如式(9)和式(10)所示：
V＝reshape(Unfold(f(X))) (9)
Y＝Fold(Matmul(attn,V)) (10)
式(9)和式(10)中，V表示投影后的特征图，Y表示最终输出的特征图，reshape表示将特征图形状改变为(C,K*K,H*W)，C为特征图通道数，Unfold表示展开操作，也就是取出K*K区域，相当于在特征图中滑动窗口，Fold表示Unfold的逆操作，还原特征图，f为全连接层，将输入投影到一个新的特征图，Matmul(·)表示矩阵乘法。
5.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，步骤5跳跃连接中多尺度注意力机制和窗口注意力机制级联，多尺度注意力的输出为窗口注意力的输入，两种注意力分别产生注意力权重作用于各自的输入；由此编码器中的高层语义信息和解码器中的低层语义信息有机融合后，再与原先的高层语义信息建立短连接，所获的整体注意力特征信息与原先的低层语义信息进行特征拼接，然后经过两级3×3卷积作为解码器下一级的低层语义信息输入。
6.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，对于步骤4和步骤6的联合训练使用加权交叉熵结合Dice损失以解决肝脏肿瘤CT图像中肝脏样本和肿瘤样本不平衡问题。
7.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，在步骤4和步骤6网络训练的过程中，使用NVIDIA GeForce RTX 3090训练网络，在网络收敛时停止训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210692381.9A CN115018864B (zh) | 2022-06-17 | 2022-06-17 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210692381.9A CN115018864B (zh) | 2022-06-17 | 2022-06-17 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115018864A true CN115018864A (zh) | 2022-09-06 |
| CN115018864B CN115018864B (zh) | 2024-04-05 |
Family
ID=83075103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210692381.9A Active CN115018864B (zh) | 2022-06-17 | 2022-06-17 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018864B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
| KR102332088B1 (ko) * | 2021-01-13 | 2021-12-01 | 가천대학교 산학협력단 | 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법 |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
-
2022
- 2022-06-17 CN CN202210692381.9A patent/CN115018864B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
| KR102332088B1 (ko) * | 2021-01-13 | 2021-12-01 | 가천대학교 산학협력단 | 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법 |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN115937423B (zh) * | 2022-12-13 | 2023-08-15 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115018864B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
| Lal et al. | NucleiSegNet: Robust deep learning architecture for the nuclei segmentation of liver cancer histopathology images | |
| CN110781775B (zh) | 一种多尺度特征支持的遥感影像水体信息精确分割方法 | |
| CN109903292A (zh) | 一种基于全卷积神经网络的三维图像分割方法及系统 | |
| CN110675462B (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
| CN110930421A (zh) | 一种用于cbct牙齿图像的分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| Rahman et al. | A new method for lung nodule detection using deep neural networks for CT images | |
| CN112257766A (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
| CN114677403A (zh) | 基于深度学习注意力机制的肝脏肿瘤图像分割方法 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN113706545A (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| CN106780453A (zh) | 一种基于深度信任网络实现对脑肿瘤分割的方法 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN112215100B (zh) | 一种不平衡训练样本下针对退化图像的目标检测方法 | |
| CN116682120A (zh) | 基于深度学习的多语种马赛克图像文本识别方法 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN114283165A (zh) | 肺结节的智能影像处理系统 | |
| CN114565628B (zh) | 一种基于边界感知注意的图像分割方法及系统 | |
| CN115409832A (zh) | 一种超声影像及组学大数据的三阴性乳腺癌分类方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN115018864A (zh) | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 | |
| CN113256657B (zh) | 一种高效医学图像分割方法及系统、终端、介质 | |
| Gao | A method for face image inpainting based on generative adversarial networks | |
| CN114066883A (zh) | 一种基于特征选择与残差融合的肝肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |