CN115937423B - 肝脏肿瘤医疗影像的三维智能重建方法 - Google Patents
肝脏肿瘤医疗影像的三维智能重建方法 Download PDFInfo
- Publication number
- CN115937423B CN115937423B CN202211602147.9A CN202211602147A CN115937423B CN 115937423 B CN115937423 B CN 115937423B CN 202211602147 A CN202211602147 A CN 202211602147A CN 115937423 B CN115937423 B CN 115937423B
- Authority
- CN
- China
- Prior art keywords
- liver tumor
- layer
- sub
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 65
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000011478 gradient descent method Methods 0.000 claims abstract description 3
- 238000012805 post-processing Methods 0.000 claims abstract description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 31
- 238000003709 image segmentation Methods 0.000 claims description 22
- 210000004185 liver Anatomy 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 229910052724 xenon Inorganic materials 0.000 claims description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 claims description 2
- 239000010410 layer Substances 0.000 claims 23
- 239000011229 interlayer Substances 0.000 claims 3
- 238000013461 design Methods 0.000 claims 1
- 230000002776 aggregation Effects 0.000 abstract description 6
- 238000004220 aggregation Methods 0.000 abstract description 6
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肝脏肿瘤医疗影像的三维智能重建方法，主要解决现有技术的肝脏肿瘤三维图像重建精度低的问题。其实现方案是：对医疗影像进行图像预处理，以统一不同场景下的数据差异并划分训练集和测试集；基于肝脏肿瘤的复杂特征构建基于边缘聚合模块和动态分层Transformer模块的肝脏肿瘤分割网络模型；将训练数据集输入网络模型中通过随机梯度下降方法进行训练；将测试数据输入到训练后的肝脏肿瘤分割网络中获得预测的肝脏肿瘤分割结果；对预测的分割结果通过图像后处理操作实现精准的三维肝脏肿瘤重建。本发明提升了网络学习效率以及肝脏肿瘤重建的精度，可用于对医学影像的AI自动分割。
Description
技术领域
本发明属于人工智能技术领域，特别涉及一种三维智能重建方法，可用于对医学影像的AI自动分割。
背景技术
肝癌是世界上最常见的癌症之一。从患者CT图像中准确测量肿瘤病变，包括肿瘤的形状、位置和体积，对医生进行准确的癌症评估和手术规划有很大帮助。传统方法是由经验丰富的放射科医生进行视觉检查和手动描绘，这种注释过程耗时且昂贵，分割结果容易受到人工的显著主观性影响。因此，计算机辅助的肝脏和肿瘤自动分割方法在临床实践中备受关注。
深度学习技术的出现，推动了人工智能在医疗图像分割领域的发展，通过卷积神经网络自动提取特征，实现医疗图像的全自动端到端的分割方法。这些方法主要基于完全卷积神经网络，其中U-Net及其变体表现出了优异的性能。大多肝脏肿瘤分割方法可分为三类：2D网络、2.5D网络和3D网络。U-Net网络及其变体主要以串联或聚合的方式直接融合多层特征，忽略了特征的多样化表达，尤其是在网络的浅层跳跃连接过程中，输入的高分辨率边缘信息在网络提取的高级特征中并没有得到有效表示，导致边缘信息模糊，造成分割结果精度不高。
申请号为202210501553.X的专利文献公开了一种基于上下文信息融合的三维医疗图像分割方法，所述的卷积神经网络在远程建模的局限性限制了肿瘤特征的表示，且它提出的上下文信息融合方法忽略了多尺度细粒度特征之间的交互，使得边缘信息提取的不充分从而导致分割精度较低。
申请号为202210692381.9的专利文献公开了一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其通过利用空间注意力和窗口注意力机制融合多个尺度的感受域对U-Net网络跳跃连接中CNN编码器传来的信息进行筛选，使模型在训练过程中专注于学习重要信息。然而，该方法基于CNN模块的编码器并不能自适应捕捉复杂的肿瘤特征，限制了特征表达的多样性。另外，该方法对跳连接阶段使用注意力机制是用于捕捉肝脏和肿瘤的边缘信息，而忽略了肿瘤多变的形态特征以及离散的空间位置分布特征，导致了肝脏肿瘤分割以及其三维重建的精度低。
发明内容
本发明的目的在于针对上述现有技术的缺点，提供一种肝脏肿瘤医疗影像的三维智能重建方法，以利用改进的网络编码器跳连接方案和编码器深层结构，提升肝脏肿瘤图像三维重建的精度。
为了实现上述目的，本发明采用的技术方案包括如下步骤：
(1)对原始肝脏肿瘤CT图像进行预处理，并将数据以4：1的比例划分为训练集和测试集，再将训练集在目标区域内随机裁剪得到训练子块数据集，将测试集在图像内顺序裁剪得到测试子块数据集；
(2)构建肝脏肿瘤医疗影像分割网络；
(2a)建立浅层编码器网络：
设浅层编码器网络共三层，每一层采用基于三维卷积的多层感知机结构，将训练子块数据输入至浅层编码器，提取输入图像的多层次细粒度特征，并计算每层细粒度特征中的边缘信息；
(2b)建立深层编码器网络：
设计动态分层Transformer模块，以动态自适应的全局关注不同大小和离散分布的肿瘤区域；由两层动态分层Transformer模块组成第二阶段深层编码器网络，用于获得精确的肿瘤深度形态特征；
(2c)使用3D U-Net网络中的CNN解码器作为解码器网络，解码器采用三维反卷积进行上采样；
(2d)将浅层编码器、深层编码器及解码器依次级联，并将编码器每层的输出与解码器每层的输入进行跳连接融合，构成肝脏肿瘤医疗影像分割网络，并设该网络的损失函数为：
其中，Li为第i层的目标损失；I为解码器的总层数，且第0层输出的分辨率最高，第I层输出分辨率最底；
(3)利用训练子块数据集，使用随机梯度下降法对肝脏肿瘤医疗影像的图像分割网络进行网络的反向传播训练，直至下降的损失达到收敛，得到训练好的肝脏肿瘤医疗影像分割网络；
(4)将测试子块数据集输入到训练好的肝脏肿瘤医疗影像分割网络获得精准预测的图像子块，再对预测的图像子块进行拼接和边缘优化的后处理，得到最终预测的肝脏肿瘤三维重建图像。
与现有技术相比，本发明的有益效果是：
第一，本发明在的图像预处理中，由于使用重采样操作统一医学影像数据集的分辨率，并基于肝脏和肿瘤的前景信息对整体图像进行数据归一化操作，统一医疗数据集的数据格式及充分放大肝脏肿瘤区域信息，因而可以避免数据杂乱造成的训练误差，且能为肝脏肿瘤医疗影像分割网络的训练提供良好的数据基础。
第二，本发明在构建肝脏肿瘤医疗影像分割网络过程中，由于使用建立的边缘聚合模块在浅层编码器中充分提取浅层特征中的边缘信息，并通过设计的动态分层Transformer构成深层编码器，不仅可达到通过自动聚焦不同大小和离散分布的肿瘤区域学习到肝脏肿瘤的深度形态特征的效果，而且优化了肝脏与肿瘤之间边界模糊的问题，提高了肝脏肿瘤的分割精度，从而进一步提升了网络的性能。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的肝脏肿瘤医疗影像分割网络框架示意图；
图3是图2中的边缘聚合模块的结构示意图；
图4是图2中的动态分层Transformer模块结构示意图；
图5是图2中的动态自适应卷积结构示意图；
图6是用本发明的仿真结果图。
具体实施方式
下面结合附图对本发明的实施例和效果做进一步详细说明。
按照图1，本实例的实现步骤如下：
步骤1，对原始肝脏肿瘤CT图像进行预处理。
原始CT肝脏肿瘤影像过于模糊，关键的肝脏肿瘤区域相较于背景并不突出，且由于医学数据的敏感性和成本问题难以收集大量的图像数据和人工精准标注的肝脏肿瘤区域的标签；因此需要对图像进行数据大小的统一，并通过突出目标区域和扩增数据类别来提高最终的肝脏肿瘤重建精度和模型泛化能力，具体实现如下：
1.1)计算标签数据层间距的中位数作为目标层间距，并根据目标层间距将所有数据和标签重新采样到统一的分辨率大小；
1.2)将肝脏和肿瘤的区域作为前景类，收集图像数据中所有前景类的体素强度信息，并计算前景的体素均值和标准差Std：
其中，Mi为前景的第i个体素值，n代表全部前景像素的个数；
1.3)根据1.2)的结果对重采样后的图像数据D进行归一化：
其中Di表示图像中的第i个像素值，N为所有像素值个数，代表归一化后的图像数据；即用图像数据减去前景体素均值并除以标准差完成数据强度，
1.4)对所有归一化后的数据随机进行旋转、缩放、高斯加噪、高斯模糊、亮度处理、对比度处理的操作进行数据增强。
步骤2，对预处理后的肝脏肿瘤CT图像进行分集处理。
2.1)将整体数据以4：1的比例划分为训练集和测试集；再对训练集数据中的每一张图像进行基于目标区域的随机裁剪得到训练子块，为使输入网络的图像适应现有的硬件要求，设裁剪子块的分辨率为128×128×128，以确保每个训练子块中都包含标签内容从而降低训练时产生的误差；
2.2)对测试集数据中的每张图像进行随机裁剪得到测试子块，其中所得测试子块的分辨率与训练子块相同，且测试子块不需要包含标签内容，用这种随机性保证测试数据的泛用性。
步骤3，构建肝脏肿瘤医疗影像分割网络。
参照图2，本步骤的实现如下
3.1)建立浅层编码器网络：
3.1.1)结合图3，通过设计的边缘聚合模块计算每层细粒度特征中的边缘信息，边缘聚合模块首先利用空间注意力机制对浅层特征中的边缘细节信息通过空间注意力机制进行放大，并获得三层多尺度边缘细节特征/>再将不同层的细节特征下采样为相同分辨率，并将其在通道维度串联起来生成聚合特征Fm：
其中，Concat(·)为通道维度的串联，D(·)代表一个2倍下采样操作；最后将聚合特征与不同层的细节特征共同输入基于神经网络的门控机制中，筛选后得到每层输出的边缘信息；
3.1.2)设浅层编码器网络共三层，每一层采用基于三维卷积的多层感知机结构，将训练子块数据输入至浅层编码器，提取输入图像的多层次细粒度特征，并通过边缘聚合模块计算每层细粒度特征中的边缘信息；
3.2)建立深层编码器网络：
深层编码器网络由两层动态分层Transformer模块组成，通过动态自适应的关注不同大小和离散分布的肿瘤区域，从而获得的肿瘤深度形态特征，结合图4，本步骤的具体实现如下：
3.2.1)设计动态分层Transformer模块用于分层提取肝脏肿瘤的深度形态信息：
3.2.1a)通过建立的1×1×1，3×3×3和5×5×5大小的滤波器的动态自适应卷积对浅层编码器最后一层的输出特征进行多尺度分层，得到多种视野下肿瘤的深度复杂特征,
所述动态自适应卷积，用于为多个滤波器同时自动匹配肿瘤位置区域，如图5所示,其工作过程如下：
首先，将浅层编码器的输入特征划分为多个区域m，再根据划分的区域设计指导器M，即用m个标准卷积为每个区域生成对应的引导特征，得到空间中的每个位置(d,h,w)的指导器Md,h,w：
式中argmax(·)表示输出最大值的索引，是在空间位置(d,h,w)上的第i个引导特征矩阵，i为从0到m-1；
接着，使用指导器将语义相似的特征配到同一区域So，并通过一个滤波器Wo计算动态卷积：
式中，为第o维输出通道上的特征矩阵，C为输入通道数，*代表三维卷积操作；为指导器选取的相似特征在第j个通道上的矩阵；
3.2.1b)构建CNN结构子模块，其由1×1×1卷积、3×3×3深度卷积和1×1×1卷积依次串联构成；
3.2.1c)基于一种高效的自注意力机制建立Transformer结构子模块：
首先，将高维特征矩阵展平为一维序列N＝D×H×W，并将其输入一个线性层生成三个相同维度的子序列Q,K,V；
接着，通过一个设置的缩减率μ来缩减子序列K的长度,生成新的维度为序列
其中为生成的中间序列，/>代表将K的大小调整为/>Linear(Cin,Cout)(·)代表一个输入通道为Cin，输出通道为Cout的线性层；
再接着，使用与K相同的算法对Q进行缩减生成
其中为生成的中间序列，C为输入通道数，代表将Q的大小调整为/>
最后，对计算其自注意力特征/>并将该特征输入一个多层感知机层，得到Transformer结构子模块的输出；
3.2.1c)将不同分层的深度复杂特征输入到并联的CNN结构和Transformer结构子模块中，得到局部特征和全局特征，并将这两个特征在通道维度串联起来；
3.2.1d)对串联之后的局部和全局特征再通过一个3×3×3卷积进行学习，后经过激活函数对特征做非线性转换和归一化约束特征梯度范围后作为动态分层Transformer模块的输出；
3.2.2)将两个动态分层Transformer模块进行级联作为深层编码器，其输出两层不同分辨率的肿瘤深度形态特征；
3.3)使用3D U-Net网络中的CNN解码器作为解码器网络，该解码器采用三维反卷积进行上采样，解码器每层的损失函数表示为：
Li＝αLCE+(1-α)LDice
其中LCE为交叉熵损失，LDice为Dice损失，α代表两种损失所占比的权重；
3.4)将浅层编码器、深层编码器及解码器依次级联，并将编码器每层的输出与解码器每层的输入进行跳连接融合，构成肝脏肿瘤医疗影像分割网络，该分割网络的总体损失函数为：
其中，Li为第i层的目标损失；I为解码器的总层数，且第0层输出的分辨率最高，第I层输出分辨率最底。
步骤4，对肝脏肿瘤医疗影像的图像分割网络进行网络的反向传播训练，得到训练好的肝脏肿瘤医疗影像分割网络。
4.1)首先设置训练批次大小为2，使用IN作为正向传播的归一化操作，采用SGD优化器并将初始学习率设置为0.01，迭代批次为100轮；
4.2)在网络权重进行正向传播的最后与标签之间通过损失函数计算损失，在每一轮训练迭代后根据“poly”原则更新学习率，并根据学习率的大小将损失的梯度进行回传更新，
4.3)重复4.2)直到损失达到收敛时停止训练，并挑选训练过程中验证分数最高的结点权重作为最终的网络权重。
步骤5，获得预测的肝脏肿瘤三维重建图像。
4.1)将测试子块数据集输入到训练好的肝脏肿瘤医疗影像分割网络获得精准预测的图像子块；
4.2)为每个预测的三维图像子块分配一个符合高斯分布的权重，并对相邻预测子块之间进行归一化权重，并对所有预测子块进行加权求和得到整个预测的肝脏肿瘤分割结果；
4.3)对预测的肝脏肿瘤分割结果进行高斯模糊和连通域优化处理，得到最终的三维重建图像。
本发明的效果可通过以下仿真结果进一步说明：
一.仿真条件
仿真过程中设计的肝脏肿瘤分割网络是基于Python 3.8版本和Pytorch1.70版本框架；
仿真过程中训练分割网络所用的机器配备为Intel(R)Xenon(R)、2.6GHz CPU、24GB RAM和2个GeForce RTX 3090GPU；
仿真使用的数据集是从公开的LITS数据集获得的肝脏肿瘤CT图像与标签数据集。
二.仿真内容
在上述仿真条件下用本发明方法对获得的肝脏肿瘤CT图像与标签数据集进行三维智能重建，结果如图6所示。其中：
图6(a)为肝脏肿瘤CT图像的切片可视化图；
图6(b)是本发明对肝脏肿瘤图像的分割结果切片图；
图6(c)为最终的肝脏肿瘤三维重建图，图中主要是肝脏区域，虚线框为肿瘤区域，
从图6(a)中可以看出肝脏区域与周围器官的区分度小和边界模糊，且肿瘤分布在肝脏区域内部，肿瘤与肝脏的边界以及肿瘤与背景的区分度模，从图6(b)可以看出本发明可以全自动精准的分割出肝脏器官以及其中大小、位置、形态不一的肿瘤，分割结果规避了大量模糊背景的干扰，且肝脏器官与肝脏肿瘤的边缘较为清晰，从图6(c)可以清晰看出重建出来的肝脏器官以及其内部复杂的肿瘤区域。
Claims (7)
1.一种肝脏肿瘤医疗影像的三维智能重建方法，其特征在于，包括如下步骤：
(1)对原始肝脏肿瘤CT图像进行预处理，并将数据以4：1的比例划分为训练集和测试集，再将训练集在目标区域内随机裁剪得到训练子块数据集，将测试集在整体图像内随机裁剪得到测试子块数据集；
(2)构建肝脏肿瘤医疗影像分割网络；
(2a)建立浅层编码器网络：
设浅层编码器网络共三层，每一层采用基于三维卷积的多层感知机结构，将训练子块数据输入至浅层编码器，提取输入图像的多层次细粒度特征，并计算每层细粒度特征中的边缘信息；
(2b)建立深层编码器网络：
设计动态分层Transformer模块，以动态自适应的全局关注不同大小和离散分布的肿瘤区域；由两层动态分层Transformer模块组成第二阶段深层编码器网络，用于获得肿瘤深度形态特征；所述设计动态分层Transformer模块，实现如下：
(2b1)设计动态自适应卷积子模块：
首先，将输入特征划分为多个区域m，根据划分的区域设计指导器M，即用m个标准卷积为每个区域生成对应的引导特征，得到空间中的每个位置(d,h,w)的指导器Md,h,w：
其中argmax(·)表示输出最大值的索引，是在空间位置(d,h,w)上的第i个引导特征矩阵，i为从0到m-1；
接着，使用指导器将语义相似的特征配到同一区域So，并通过一个滤波器Wo计算动态卷积：
其中，为第o维输出通道上的特征矩阵，C为输入通道数，*代表三维卷积操作；/>为指导器选取的相似特征在第j个通道上的矩阵；
(2b2)将1×1×1卷积、3×3×3深度卷积和1×1×1卷积依次串联，构成CNN结构子模块；
(2b3)利用自注意力机制建立Transformer结构子模块：
首先，将输入的高维特征矩阵展平为一维序列N＝D×H×W，并将序列通过一个线性层生成三个相同维度的子序列Q,K,V；
接着，通过一个设置的缩减率μ来缩减子序列K的长度,生成新的维度为序列/>
其中为生成的中间序列，/>代表将K的大小调整为/>Linear(Cin,Cout)(·)代表一个输入通道为Cin，输出通道为Cout的线性层；
接着，使用与K相同的算法对Q进行缩减生成
其中为生成的中间序列，C为输入通道数，/> 代表将Q的大小调整为/>
然后，对计算其自注意力特征/>并将该特征输入一个多层感知机层，得到Transformer结构子模块的输出；
(2b4)使用1×1×1，3×3×3和5×5×5大小的滤波器的动态自适应卷积对浅层编码器最后一层的输出特征进行多尺度分层，得到多种视野下肿瘤的深度复杂特征；
(2b5)将不同分层的深度复杂特征输入到并联的CNN结构和Transformer结构子模块中，得到局部特征和全局特征，并将这两个特征在通道维度串联起来；
(2b6)对串联之后的局部和全局特征先通过一个3×3×3卷积进行学习，再经过激活函数对特征做非线性转换和归一化约束特征梯度范围后作为动态分层Transformer模块的输出；
(2c)使用3D U-Net网络中的CNN解码器作为解码器网络，解码器采用三维反卷积进行上采样；
(2d)将浅层编码器、深层编码器及解码器依次级联，并将编码器每层的输出与解码器每层的输入进行跳连接融合，构成肝脏肿瘤医疗影像分割网络，并设该网络的损失函数为：
其中，Li为第i层的目标损失；I为解码器的总层数，且第0层输出的分辨率最高，第I层输出分辨率最底；
(3)利用训练子块数据集，使用随机梯度下降法对肝脏肿瘤医疗影像的图像分割网络进行网络的反向传播训练，直至下降的损失达到收敛，得到训练好的肝脏肿瘤医疗影像分割网络；
(4)将测试子块数据集输入到训练好的肝脏肿瘤医疗影像分割网络获得精准预测的图像子块，再对预测的图像子块进行拼接和边缘优化的后处理，得到最终预测的肝脏肿瘤三维重建图像。
2.根据权利要求1所述的方法，其特征在于，步骤(1)对原始肝脏肿瘤CT图像进行预处理，实现如下：
(1a)根据标签计算层间距的中位数作为目标层间距，并根据目标层间距将所有数据重新采样到统一的分辨率大小；
(1b)数据重采样后,将肝脏和肿瘤的区域作为前景类，收集所有前景类的体素强度信息，并计算前景的体素均值和标准差，再用所有图像数据减去前景体素均值并除以标准差完成数据强度的归一化；
(1c)将所有归一化后的数据依次采取旋转、缩放、高斯加噪、高斯模糊、亮度处理、对比度处理的操作进行数据增强。
3.根据权利要求1所述的方法，其特征在于，步骤(2a)中计算每层细粒度特征中的边缘信息，实现如下：
(2a1)利用空间注意力机制对浅层特征中的边缘细节信息通过空间注意力机制进行放大，并获得三层多尺度边缘细节特征/>
(2a2)将不同层的细节特征下采样为相同分辨率，并将其在通道维度串联起来生成聚合特征Fm：
其中，Concat(·)为通道维度的串联，D(·)代表一个2倍下采样操作；
(2a3)将聚合特征与不同层的细节特征共同输入基于神经网络的门控机制中，筛选后得到每层输出的边缘信息。
4.根据权利要求1所述的方法，其特征在于，步骤(2d)所设损失函数中的目标损失Li，通过如下公式计算：
Li＝αLCE+(1-α)LDice
其中LCE为交叉熵损失，LDice为Dice损失，α代表两种损失所占比的权重。
5.根据权利要求1所述的方法，其特征在于，步骤(3)中对肝脏肿瘤医疗影像的图像分割网络进行反向传播训练，实现如下：
(3a)使用Intel(R)Xenon(R)、2.6GHz CPU、24GB RAM和2个GeForce RTX 3090GPU训练网络，设置批次大小为2，使用IN作为正向传播的归一化操作，采用SGD优化器并将初始学习率设置为0.01；
(3b)在网络权重进行正向传播的最后与标签之间通过损失函数计算损失，在每一轮训练迭代后根据“poly”原则更新学习率，并根据学习率的大小将损失的梯度进行回传更新。
6.根据权利要求1所述的方法，其特征在于，步骤(4)中得到最终预测的肝脏肿瘤三维重建图像，实现如下：
4.1)将测试子块数据集输入到训练好的肝脏肿瘤医疗影像分割网络获得精准预测的图像子块；
4.2)为每个预测的三维图像子块分配一个符合高斯分布的权重，并对相邻预测子块之间进行归一化权重，并对所有预测子块进行加权求和得到整个预测的肝脏肿瘤分割结果；
4.3)对预测的肝脏肿瘤分割结果进行高斯模糊和连通域优化处理，得到最终的三维重建图像。
7.根据权利要求2所述的方法，其特征在于，步骤(1b)计算前景的体素均值和标准差Std，公式如下：
其中，Mi为前景的第i个体素值，n代表全部前景像素的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211602147.9A CN115937423B (zh) | 2022-12-13 | 2022-12-13 | 肝脏肿瘤医疗影像的三维智能重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211602147.9A CN115937423B (zh) | 2022-12-13 | 2022-12-13 | 肝脏肿瘤医疗影像的三维智能重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937423A CN115937423A (zh) | 2023-04-07 |
| CN115937423B true CN115937423B (zh) | 2023-08-15 |
Family
ID=86652147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211602147.9A Active CN115937423B (zh) | 2022-12-13 | 2022-12-13 | 肝脏肿瘤医疗影像的三维智能重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937423B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117391984B (zh) * | 2023-11-02 | 2024-04-05 | 中国人民解放军空军军医大学 | 一种提升cbct影像质量的方法 |
| CN117541797B (zh) * | 2023-12-21 | 2024-05-31 | 浙江飞图影像科技有限公司 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
| CN117876370B (zh) * | 2024-03-11 | 2024-06-07 | 南京信息工程大学 | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
| CN114677403A (zh) * | 2021-11-17 | 2022-06-28 | 东南大学 | 基于深度学习注意力机制的肝脏肿瘤图像分割方法 |
| CN115018864A (zh) * | 2022-06-17 | 2022-09-06 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
| JP2022155690A (ja) * | 2021-03-31 | 2022-10-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN115311194A (zh) * | 2022-05-23 | 2022-11-08 | 湘潭大学 | 一种基于transformer和SE块的CT自动肝脏图像分割方法 |
-
2022
- 2022-12-13 CN CN202211602147.9A patent/CN115937423B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021184817A1 (zh) * | 2020-03-16 | 2021-09-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| JP2022155690A (ja) * | 2021-03-31 | 2022-10-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN114677403A (zh) * | 2021-11-17 | 2022-06-28 | 东南大学 | 基于深度学习注意力机制的肝脏肿瘤图像分割方法 |
| CN114240962A (zh) * | 2021-11-23 | 2022-03-25 | 湖南科技大学 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
| CN115311194A (zh) * | 2022-05-23 | 2022-11-08 | 湘潭大学 | 一种基于transformer和SE块的CT自动肝脏图像分割方法 |
| CN115018864A (zh) * | 2022-06-17 | 2022-09-06 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| Automatic liver and tumour segmentation from CT images using Deep learning algorithm;R.V. Manjunath等;Results in Control and Optimization;第6卷;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937423A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115937423B (zh) | 肝脏肿瘤医疗影像的三维智能重建方法 | |
| CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及系统 | |
| CN110675406A (zh) | 基于残差双注意力深度网络的ct图像肾脏分割算法 | |
| CN112036335B (zh) | 一种反卷积引导的半监督植物叶部病害识别与分割方法 | |
| CN107240102A (zh) | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 | |
| CN110120040A (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN108230339A (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
| CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN110619641A (zh) | 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法 | |
| CN111899176B (zh) | 一种视频图像增强方法 | |
| CN113610859B (zh) | 一种基于超声图像的甲状腺结节自动分割方法 | |
| CN111445474A (zh) | 基于双向复注意力深度网络的肾脏ct图像分割方法 | |
| CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN117078941A (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| DE112018005775T5 (de) | Adaptive segmentierung von läsionen in medizinischen bildern | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN117422715B (zh) | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 | |
| CN117611542B (zh) | 一种基于胎儿宫内颅脑影像检测方法及系统 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN117115132A (zh) | 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法 | |
| Jiang et al. | Images denoising for COVID-19 chest X-ray based on multi-resolution parallel residual CNN | |
| CN115018864B (zh) | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 | |
| CN114049357B (zh) | 一种基于特征集关联度的乳腺超声分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |