CN117541797A - 用于胸部ct平扫的交互式三维支气管分割系统及方法 - Google Patents
用于胸部ct平扫的交互式三维支气管分割系统及方法 Download PDFInfo
- Publication number
- CN117541797A CN117541797A CN202311770364.3A CN202311770364A CN117541797A CN 117541797 A CN117541797 A CN 117541797A CN 202311770364 A CN202311770364 A CN 202311770364A CN 117541797 A CN117541797 A CN 117541797A
- Authority
- CN
- China
- Prior art keywords
- bronchus
- bronchial
- training
- region
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000621 bronchi Anatomy 0.000 title claims abstract description 216
- 230000011218 segmentation Effects 0.000 title claims abstract description 133
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000002591 computed tomography Methods 0.000 title description 76
- 238000012800 visualization Methods 0.000 claims abstract description 56
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 91
- 238000004091 panning Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005728 strengthening Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 210000000038 chest Anatomy 0.000 claims 19
- 238000013185 thoracic computed tomography Methods 0.000 claims 3
- 238000004458 analytical method Methods 0.000 abstract description 12
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 208000019693 Lung disease Diseases 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003182 bronchodilatating effect Effects 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种用于胸部CT平扫的交互式三维支气管分割系统及方法，其利用深度学习和交互式技术，通过预处理、分割、重建和可视化等模块，实现了自动化的支气管分割和重建，并提供了交互式的界面，支持用户通过鼠标、键盘或手势等方式进行交互操作，如旋转、缩放、切片等，实现医生和用户对支气管结构的直观和详细的观察和分析。
Description
技术领域
本发明涉及智能化胸部CT技术领域，尤其涉及一种用于胸部CT平扫的交互式三维支气管分割系统及方法。
背景技术
支气管是呼吸系统的重要组成部分，其结构和功能与肺部疾病的发生和发展密切相关。支气管分割是指从胸部CT图像中提取出支气管的结构信息，是肺部图像分析的基础任务之一。支气管分割可以为肺部疾病的诊断、评估和治疗提供有价值的参考。然而，由于胸部CT图像中的支气管结构复杂多变，且与周围组织的对比度较低，导致支气管分割具有较高的难度。
目前，常用的支气管分割方法主要有基于阈值、基于区域生长、基于形态学和基于水平集等。然而，这些支气管分割方法存在一些不足之处，例如，基于阈值法对于背景噪声和肺部组织的低对比度区域可能产生较大误差；区域生长方法对于局部对比度较高的支气管分割效果较好，但对于支气管分支较多或存在病变的情况下容易受到噪声和其他结构的干扰；形态学方法可以有效地去除噪声和填充空洞，但对于支气管分支较细或存在病变的情况下可能导致分割不完整；水平集方法对于复杂的支气管形状和分支结构具有较好的适应性，但对于初始曲线的选择和参数的设置较为敏感。
因此，期望一种优化的支气管分割系统。
发明内容
本发明实施例提供一种用于胸部CT平扫的交互式三维支气管分割系统及方法，其利用深度学习和交互式技术，通过预处理、分割、重建和可视化等模块，实现了自动化的支气管分割和重建，并提供了交互式的界面，支持用户通过鼠标、键盘或手势等方式进行交互操作，如旋转、缩放、切片等，实现医生和用户对支气管结构的直观和详细的观察和分析。
本发明实施例还提供了一种用于胸部CT平扫的交互式三维支气管分割系统，其包括：
预处理模块，用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；
分割模块，用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；
重建模块，用于基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；
可视化模块，用于将所述重建支气管模型在屏幕上进行可视化展示。
本发明实施例还提供了一种用于胸部CT平扫的交互式三维支气管分割方法，其包括：
对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；
对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；
基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；
将所述重建支气管模型在屏幕上进行可视化展示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割系统的框图。
图2为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的流程图。
图3为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的系统架构的示意图。
图4为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割系统的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
支气管分割是指从胸部CT图像中自动或半自动地提取出支气管的结构信息。支气管是呼吸系统中的管道，将空气从气管输送到肺部，使气体交换得以进行。支气管的结构和功能与肺部疾病的发生和发展密切相关，因此支气管分割在肺部图像分析中具有重要的作用。
然而，由于胸部CT图像中的支气管结构复杂多变，且与周围组织的对比度较低，支气管分割任务具有一定的挑战性。支气管具有分支和曲折的结构，形状和大小因人而异，这使得支气管分割过程中需要处理不同形状和尺寸的支气管分支。支气管与周围组织的密度相似，缺乏明显的对比度，这会导致在图像中准确地区分支气管边界变得困难。胸部CT图像可能受到噪声和伪影的影响，这会干扰支气管的可视化和分割。
为了克服这些挑战，研究人员已经提出了各种支气管分割方法，常用的支气管分割方法主要包括以下几种：
基于阈值的方法：这是最简单和常见的支气管分割方法之一，该方法通过选择适当的阈值将图像中的支气管和背景分离。通常，根据图像的灰度值进行阈值分割，将灰度值高于或低于阈值的像素归类为支气管或背景。然而，由于胸部CT图像中的噪声和组织强度变化，仅使用阈值分割可能无法准确地提取出支气管的边界。
基于区域生长的方法：该方法从一个或多个种子点开始，通过迭代地将与种子点相邻且满足一定条件的像素合并到同一区域中。对于支气管分割，种子点可以手动选择或自动检测，区域生长方法对于边界模糊或对比度较低的支气管分割较为有效，但对于支气管分叉和噪声敏感。
基于形态学的方法：形态学操作是一种基于图像形状的图像处理技术，在支气管分割中，形态学方法常用于去除噪声、填充空洞和平滑边界。例如，通过应用膨胀和腐蚀操作可以填充支气管内部的空洞并平滑边界。
基于水平集的方法：水平集方法是一种基于曲线演化的分割技术，通过迭代地优化曲线的形状来分割图像。在支气管分割中，水平集方法可以根据图像的梯度信息自动找到支气管的边界，并逐步收缩曲线以得到准确的分割结果。水平集方法在处理复杂的支气管分叉和边界模糊时具有较好的性能。
然而，这些支气管分割方法存在一些不足之处，因此研究人员还提出了许多改进的支气管分割方法，如基于深度学习的方法。深度学习方法利用卷积神经网络（CNN）等深度学习模型，通过大量的训练数据自动学习特征和分割边界，能够在一定程度上克服传统方法的局限性。
在本发明的一个实施例中，图1为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割系统的框图。如图1所示，根据本发明实施例的用于胸部CT平扫的交互式三维支气管分割系统100，包括：预处理模块110，用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；分割模块120，用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；重建模块130，用于基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；可视化模块140，用于将所述重建支气管模型在屏幕上进行可视化展示。
该系统利用深度学习和交互式技术，通过预处理、分割、重建和可视化等模块，实现了自动化的支气管分割和重建，并提供了交互式的界面，支持用户通过鼠标、键盘或手势等方式进行交互操作，如旋转、缩放、切片等，实现医生和用户对支气管结构的直观和详细的观察和分析。
特别地，在所述分割模块中，对预处理后的胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜是至关重要的，这是因为通过分割生成的二维分割掩膜可以准确地定位和标记出胸部CT图像中的支气管区域。这对于医生来说非常重要，通过准确地定位支气管区域，医生可以更好地进行肺部疾病的诊断、评估和治疗。此外，二维分割掩膜还可以提供支气管的形态信息，包括支气管的大小、形状和分支结构等。这对于医生来说是非常有价值的，因为支气管的形态特征与某些肺部疾病的诊断和分析密切相关。通过分析二维分割掩膜，可以帮助医生评估支气管的形态变化，判断是否存在异常情况，如狭窄、扩张或阻塞等。
基于此，本申请的技术构思为在进行胸部CT图像的预处理后，在后端引入图像处理和分析算法来进行预处理后胸部CT图像的图像分析，以此来提取和刻画出有关于胸部的支气管区域多尺度特征，以生成二维的分割掩膜。这样，实现了自动化的支气管识别和分割，以便于后续的三维支气管模型的重建和分析过程，从而为肺部疾病的诊断、评估和治疗提供有价值的参考。
在本申请的一个实施例中，所述分割模块，包括：支气管区域目标检测单元，用于将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像；支气管区域浅层特征提取单元，用于通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图；支气管区域浅层特征空间显化单元，用于将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图；支气管区域语义特征提取单元，用于通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图；深浅特征信息损失补偿融合单元，用于对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图；全局均值池化处理单元，用于对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵；二维分割掩膜生成单元，用于基于所述支气管多尺度特征矩阵，生成所述二维的分割掩膜。
其中，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。
具体地，在本申请的技术方案中，在对胸部CT图像进行预处理后，为了能够进一步提取和关注支气管区域的相关信息，而忽略与支气管特征无关的干扰特征，在本申请的技术方案中，需要将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像。应可以理解，所述支气管区域目标检测网络可以帮助准确定位和标记出胸部CT图像中的支气管区域，减少人工操作的需求，并提高分割的效率和准确性。这样，还可以将注意力集中在支气管区域，减少其他无关区域的干扰，有助于后续的支气管分割和分析。
接着，使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进行所述支气管区域感兴趣图像的特征分析，特别地，考虑到在实际进行支气管区域的特征分析和分割时，有关于支气管的浅层特征，例如边缘、颜色和纹理等特征信息具有重要的作用。因此，在本申请的技术方案中，需要将所述支气管区域感兴趣图像通过基于第一卷积神经网络模型的浅层特征提取器以得到支气管区域浅层特征图。
应可以理解，为了能够进一步增强特征图中与支气管区域相关的信息，并突出显示支气管的空间位置和形态，在本申请的技术方案中，将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化支气管区域浅层特征图。特别地，这里，所述空间自注意力层可以自适应地学习特征图中不同位置的重要性权重，因此，通过所述应用空间自注意力层，可以增强所述支气管区域浅层特征图中与支气管相关的空间特征信息，使其更加突出和显著，这有助于提高支气管分割的准确性和鲁棒性。
在本申请的一个具体实施例中，所述支气管区域浅层特征空间显化单元，用于：将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到所述空间显化支气管区域浅层特征图。
然后，考虑到由于所述支气管的浅层特征信息容易受到外界环境因素和噪声的干扰，导致对于支气管的特征刻画和分割的精准度较低。因此，在本申请的技术方案中，进一步将所述空间显化支气管区域浅层特征图通过基于第二卷积神经网络模型的语义特征提取器以得到支气管语义特征图。
进一步地，在进行支气管的特征刻画和分割过程中，由于所述空间显化支气管区域浅层特征图和所述支气管语义特征图分别代表了从所述预处理后胸部CT图像中提取的不同层次和抽象程度的特征信息，其中，浅层特征图主要捕捉到预处理后胸部CT图像中关于支气管区域的边缘、颜色和纹理等浅层特征信息，而语义特征图则捕捉到预处理后胸部CT图像中关于支气管区域的高级特征和语义信息。因此，为了将所述预处理后胸部CT图像中关于支气管区域的不同层次特征进行有效的融合，以获取更全面、更丰富的特征表示来提高对支气管分割的精准度，在本申请的技术方案中，进一步使用网络编码损失补偿模块来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到支气管多尺度特征图。特别地，这里，所述网络编码损失补偿模块可以采用残差连接的方式来将支气管的浅层特征和深层特征进行融合形成多尺度的特征表示，从而实现不同层次特征之间的交互和信息传递，使得支气管的浅层特征和深层特征能够相互补充和增强，有利于提供更丰富、更全面的支气管特征表达能力，可以更好地进行后续的支气管分割和重建。
在本申请的一个具体实施例中，所述深浅特征信息损失补偿融合单元，用于：使用网络编码损失补偿模块以如下损失补偿公式来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到所述支气管多尺度特征图；其中，所述损失补偿公式为：其中，/>是所述空间显化支气管区域浅层特征图，/>是所述支气管语义特征图，/>是所述支气管多尺度特征图表示/>激活函数，/>表示反卷积操作，/>表示对特征图进行逐点卷积操作，/>表示注意力机制。
继而，为了能够对于支气管进行图像分割，需要对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵，以此来降低特征的维度，并提取代表性的特征。然后，再将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果，所述分割结果为二维的分割掩膜。这个分割掩膜可以用于标记图像中的支气管区域，实现支气管的图像分割任务。这样，能够实现自动化的支气管识别和分割，以便于后续的三维支气管模型的重建和分析过程，从而为肺部疾病的诊断、评估和治疗提供有价值的参考。
在本申请的一个具体实施例中，所述二维分割掩膜生成单元，用于：将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果，所述分割结果为二维的分割掩膜。
在本申请的一个实施例中，所述用于胸部CT平扫的交互式三维支气管分割系统，还包括用于对所述基于第一卷积神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二卷积神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练的训练模块。所述训练模块，包括：训练预处理单元，用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到训练预处理后胸部CT图像；训练支气管区域目标检测单元，用于将所述训练预处理后胸部CT图像通过所述支气管区域目标检测网络以得到训练支气管区域感兴趣图像；训练支气管区域浅层特征提取单元，用于通过所述基于第一深度神经网络模型的浅层特征提取器对所述训练支气管区域感兴趣图像进行特征提取以得到训练支气管区域浅层特征图；训练支气管区域浅层特征空间显化单元，用于将所述训练支气管区域浅层特征图进行空间自注意力强化以得到训练空间显化支气管区域浅层特征图；训练支气管区域语义特征提取单元，用于通过所述基于第二深度神经网络模型的语义特征提取器对所述训练空间显化支气管区域浅层特征图进行特征提取以得到训练支气管语义特征图；训练深浅特征信息损失补偿融合单元，用于对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图进行信息损失补偿融合以得到训练支气管多尺度特征图；训练全局均值池化处理单元，用于对所述训练支气管多尺度特征图进行沿通道维度的全局均值池化以得到训练支气管多尺度特征矩阵；训练二维分割掩膜生成单元，用于基于所述训练支气管多尺度特征矩阵，生成二维的训练分割掩膜；训练损失函数计算单元，用于计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值；训练单元，用于基于所述特定损失函数值对所述基于第一卷积神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二卷积神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练。
特别地，在上述技术方案中，所述训练空间显化支气管区域浅层特征图表达所述训练支气管区域感兴趣图像的局部图像语义特征空间分布强化的浅层图像语义特征，由此，将所述训练空间显化支气管区域浅层特征图通过基于第二卷积神经网络模型的语义特征提取器后，所述训练支气管语义特征图进一步在所述训练空间显化支气管区域浅层特征图的基础上对浅层图像语义特征进行局部特征关联，这样，得到的所述训练支气管语义特征图相对于所述训练空间显化支气管区域浅层特征图在整体特征图维度上的特征群密度表示上会具有差异。
因此，为了提升所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图在使用网络编码损失补偿模块进行融合时的融合效果，本申请的申请人进一步引入了针对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图的不同特征群密度的特定损失函数，表示为：以如下优化公式计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值；其中，所述优化公式为：其中，/>和/>分别是所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图投影后得到的特征向量，/>是特征向量的长度，且/>表示向量的二范数的平方，/>表示按位置减法，/>表示计算以数值为幂的自然指数函数值，/>表示特定损失函数值。
这里，所述损失函数基于特征群密度来进行群计数注意力，其通过将群计数作为输出特征群密度的递归映射，来进行所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的不同密度表示模式的自适应注意力。通过以其作为损失函数训练模型，可以使得模型针对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图的特征分布下的不同密度模式来避免过估计和欠估计，并学习特征值分布与群密度分布之间的对应关系，从而实现具有不同特征密度的所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图的特征分布之间的优化融合。这样，通过提升所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图的融合效果，就提升了所述训练支气管多尺度特征图的表达效果，从而改进了从所述训练支气管多尺度特征图得到的所述训练支气管多尺度特征矩阵的分割结果的准确性。这样，实现了自动化的支气管识别和分割，有利于后续的三维支气管模型的重建和分析过程，并为交互式的可视化展示提供基础，进而为肺部疾病的诊断、评估和治疗提供有价值的参考。
综上，基于本发明实施例的用于胸部CT平扫的交互式三维支气管分割系统100被阐明，其在进行胸部CT图像的预处理后，在后端引入图像处理和分析算法来进行预处理后胸部CT图像的图像分析，以此来提取和刻画出有关于胸部的支气管区域多尺度特征，以生成二维的分割掩膜。这样，实现了自动化的支气管识别和分割，以便于后续的三维支气管模型的重建和分析过程，从而为肺部疾病的诊断、评估和治疗提供有价值的参考。
如上所述，根据本发明实施例的用于胸部CT平扫的交互式三维支气管分割系统100可以实现在各种终端设备中，例如用于胸部CT平扫的交互式三维支气管分割的服务器等。在一个示例中，根据本发明实施例的用于胸部CT平扫的交互式三维支气管分割系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于胸部CT平扫的交互式三维支气管分割系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于胸部CT平扫的交互式三维支气管分割系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该用于胸部CT平扫的交互式三维支气管分割系统100与该终端设备也可以是分立的设备，并且该用于胸部CT平扫的交互式三维支气管分割系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图2为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的流程图。图3为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割方法的系统架构的示意图。如图2和图3所示，一种用于胸部CT平扫的交互式三维支气管分割方法，包括：210，对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；220，对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；230，基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；240，将所述重建支气管模型在屏幕上进行可视化展示。
在所述用于胸部CT平扫的交互式三维支气管分割方法中，对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜，包括：将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像；通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图；将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图；通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图；对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图；对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵；基于所述支气管多尺度特征矩阵，生成所述二维的分割掩膜。
本领域技术人员可以理解，上述用于胸部CT平扫的交互式三维支气管分割方法中的各个步骤的具体操作已经在上面参考图1的用于胸部CT平扫的交互式三维支气管分割系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图4为本发明实施例中提供的一种用于胸部CT平扫的交互式三维支气管分割系统的应用场景图。如图4所示，在该应用场景中，首先，对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像（例如，如图4中所示意的C）；然后，将获取的预处理后胸部CT图像输入至部署有用于胸部CT平扫的交互式三维支气管分割算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于用于胸部CT平扫的交互式三维支气管分割算法对所述预处理后胸部CT图像进行处理，以将所述重建支气管模型在屏幕上进行可视化展示。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，包括：
预处理模块，用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；
分割模块，用于对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；
重建模块，用于基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；
可视化模块，用于将所述重建支气管模型在屏幕上进行可视化展示。
2.根据权利要求1所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述分割模块，包括：
支气管区域目标检测单元，用于将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像；
支气管区域浅层特征提取单元，用于通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图；
支气管区域浅层特征空间显化单元，用于将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图；
支气管区域语义特征提取单元，用于通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图；
深浅特征信息损失补偿融合单元，用于对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图；
全局均值池化处理单元，用于对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵；
二维分割掩膜生成单元，用于基于所述支气管多尺度特征矩阵，生成所述二维的分割掩膜。
3.根据权利要求2所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。
4.根据权利要求3所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述支气管区域浅层特征空间显化单元，用于：将所述支气管区域浅层特征图通过基于空间自注意力层的空间显化器以得到所述空间显化支气管区域浅层特征图。
5.根据权利要求4所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述深浅特征信息损失补偿融合单元，用于：使用网络编码损失补偿模块以如下损失补偿公式来融合所述空间显化支气管区域浅层特征图和所述支气管语义特征图以得到所述支气管多尺度特征图；
其中，所述损失补偿公式为：其中，/>是所述空间显化支气管区域浅层特征图，/>是所述支气管语义特征图，/>是所述支气管多尺度特征图/>表示/>激活函数，/>表示反卷积操作，/>表示对特征图进行逐点卷积操作，/>表示注意力机制。
6.根据权利要求5所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述二维分割掩膜生成单元，用于：将所述支气管多尺度特征矩阵通过基于Softmax分类函数的分割网络以得到分割结果，所述分割结果为二维的分割掩膜。
7.根据权利要求6所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，还包括用于对所述基于第一卷积神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二卷积神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练的训练模块。
8.根据权利要求7所述的用于胸部CT平扫的交互式三维支气管分割系统，其特征在于，所述训练模块，包括：
训练预处理单元，用于对输入的胸部CT图像进行去噪、增强和标准化处理以得到训练预处理后胸部CT图像；
训练支气管区域目标检测单元，用于将所述训练预处理后胸部CT图像通过所述支气管区域目标检测网络以得到训练支气管区域感兴趣图像；
训练支气管区域浅层特征提取单元，用于通过所述基于第一深度神经网络模型的浅层特征提取器对所述训练支气管区域感兴趣图像进行特征提取以得到训练支气管区域浅层特征图；
训练支气管区域浅层特征空间显化单元，用于将所述训练支气管区域浅层特征图进行空间自注意力强化以得到训练空间显化支气管区域浅层特征图；
训练支气管区域语义特征提取单元，用于通过所述基于第二深度神经网络模型的语义特征提取器对所述训练空间显化支气管区域浅层特征图进行特征提取以得到训练支气管语义特征图；
训练深浅特征信息损失补偿融合单元，用于对所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图进行信息损失补偿融合以得到训练支气管多尺度特征图；
训练全局均值池化处理单元，用于对所述训练支气管多尺度特征图进行沿通道维度的全局均值池化以得到训练支气管多尺度特征矩阵；
训练二维分割掩膜生成单元，用于基于所述训练支气管多尺度特征矩阵，生成二维的训练分割掩膜；
训练损失函数计算单元，用于计算所述训练空间显化支气管区域浅层特征图和所述训练支气管语义特征图之间的特定损失函数值；
训练单元，用于基于所述特定损失函数值对所述基于第一卷积神经网络模型的浅层特征提取器、所述基于空间自注意力层的空间显化器、所述基于第二卷积神经网络模型的语义特征提取器、所述网络编码损失补偿模块和所述基于Softmax分类函数的分割网络进行训练。
9.一种用于胸部CT平扫的交互式三维支气管分割方法，其特征在于，包括：
对输入的胸部CT图像进行去噪、增强和标准化处理以得到预处理后胸部CT图像；
对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜；
基于所述二维的分割掩膜生成三维的支气管模型，并对所述三维的支气管模型进行平滑和简化处理以得到重建支气管模型；
将所述重建支气管模型在屏幕上进行可视化展示。
10.根据权利要求9所述的用于胸部CT平扫的交互式三维支气管分割方法，其特征在于，对所述预处理后胸部CT图像中的支气管区域进行分割以生成二维的分割掩膜，包括：
将所述预处理后胸部CT图像通过支气管区域目标检测网络以得到支气管区域感兴趣图像；
通过基于第一深度神经网络模型的浅层特征提取器对所述支气管区域感兴趣图像进行特征提取以得到支气管区域浅层特征图；
将所述支气管区域浅层特征图进行空间自注意力强化以得到空间显化支气管区域浅层特征图；
通过基于第二深度神经网络模型的语义特征提取器对所述空间显化支气管区域浅层特征图进行特征提取以得到支气管语义特征图；
对所述空间显化支气管区域浅层特征图和所述支气管语义特征图进行信息损失补偿融合以得到支气管多尺度特征图；
对所述支气管多尺度特征图进行沿通道维度的全局均值池化以得到支气管多尺度特征矩阵；
基于所述支气管多尺度特征矩阵，生成所述二维的分割掩膜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311770364.3A CN117541797A (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311770364.3A CN117541797A (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541797A true CN117541797A (zh) | 2024-02-09 |
Family
ID=89788209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311770364.3A Pending CN117541797A (zh) | 2023-12-21 | 2023-12-21 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541797A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
| CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和系统 |
| US20210401392A1 (en) * | 2019-03-15 | 2021-12-30 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
| CN116168052A (zh) * | 2023-02-10 | 2023-05-26 | 浙江大学 | 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
| CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
-
2023
- 2023-12-21 CN CN202311770364.3A patent/CN117541797A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| US20210401392A1 (en) * | 2019-03-15 | 2021-12-30 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
| CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和系统 |
| CN116168052A (zh) * | 2023-02-10 | 2023-05-26 | 浙江大学 | 结合自适应注意力与特征金字塔的胃癌病理图像分割方法 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
| CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| GAN ZHAN 等: "HyperUNet for Medical Hyperspectral Image Segmentation on a Choledochal Database", 《2022 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE)》, 15 March 2022 (2022-03-15), pages 1 - 5 * |
| 尤堃 等: "基于三维卷积神经网络的肺结节假阳性筛查", 《图学学报》, vol. 40, no. 03, 15 June 2019 (2019-06-15), pages 423 - 428 * |
| 张士强: "脑胶质瘤分割与三维重建方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 02, 15 February 2023 (2023-02-15), pages 070 - 856 * |
| 张昀玮: "基于深度学习的肺结节检测算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 01, 15 January 2022 (2022-01-15), pages 072 - 499 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| US9262822B2 (en) | Malignant mass detection and classification in radiographic images | |
| US7627173B2 (en) | GGN segmentation in pulmonary images for accuracy and consistency | |
| CN108416360B (zh) | 基于乳腺钼靶钙化特征的癌症诊断系统及方法 | |
| JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| JP2014030623A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111583385B (zh) | 一种可变形数字人解剖学模型的个性化变形方法及系统 | |
| JP2010207572A (ja) | 障害のコンピュータ支援検出 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| US20150065868A1 (en) | System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps | |
| Farag et al. | Robust segmentation of lung tissue in chest CT scanning | |
| CN115294401B (zh) | 一种基于ct图像的分类方法、装置、设备及存储介质 | |
| CN117541797A (zh) | 用于胸部ct平扫的交互式三维支气管分割系统及方法 | |
| CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测系统 | |
| CN114419061A (zh) | 一种肺部动静脉血管分割方法及系统 | |
| Hong et al. | Segmentation of mammograms in topographic approach | |
| CN111986216A (zh) | 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法 | |
| You et al. | Extraction of samples from airway and vessel trees in 3D lung CT based on a multi-scale principal curve tracing algorithm | |
| Mughal et al. | Early lung cancer detection by classifying chest CT images: a survey | |
| CN117079080B (zh) | 冠脉cta智能分割模型的训练优化方法、装置和设备 | |
| CN113822904B (zh) | 一种图像标注装置、方法及可读存储介质 | |
| Wang et al. | Liver contour extraction using modified snake with morphological multiscale gradients | |
| Mendoza et al. | Maximal contrast adaptive region growing for CT airway tree segmentation | |
| CN116721065A (zh) | 基于对比学习预训练的ddh超声影像分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |