CN116051589A - 一种ct图像中肺实质和肺血管的分割方法及装置 - Google Patents

一种ct图像中肺实质和肺血管的分割方法及装置 Download PDF

Info

Publication number
CN116051589A
CN116051589A CN202211079599.3A CN202211079599A CN116051589A CN 116051589 A CN116051589 A CN 116051589A CN 202211079599 A CN202211079599 A CN 202211079599A CN 116051589 A CN116051589 A CN 116051589A
Authority
CN
China
Prior art keywords
image
convolution
feature map
neural network
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211079599.3A
Other languages
English (en)
Inventor
陈栋
郝鹏
田亮
刘京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Normal University
Original Assignee
Hebei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Normal University filed Critical Hebei Normal University
Priority to CN202211079599.3A priority Critical patent/CN116051589A/zh
Publication of CN116051589A publication Critical patent/CN116051589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于医学图像处理技术领域，提供了一种CT图像中肺实质和肺血管的分割方法及装置，该方法包括：构建端到端的轻量级多尺度卷积神经网络；轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块；获取第一CT图像，并将第一CT图像输入到轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将分割概率图阈值化得到肺实质的分割结果；将肺实质的分割结果和第一CT图像进行运算获得只含有肺部区域的第二CT图像；将第二CT图像的数据集输入到轻量级多尺度卷积神经网络中，输出肺血管分割结果。本申请能够在降低模型复杂度的同时，提高算法分割结果的精确度。

Description

一种CT图像中肺实质和肺血管的分割方法及装置
技术领域
本申请属于医学图像处理技术领域，尤其涉及一种CT图像中肺实质和肺血管的分割方法及装置。
背景技术
肺作为人体的呼吸器官，内部的血管十分丰富，组成结构非常复杂，相应地，肺内疾病的发病率也很高。基于肺的解剖结构和大量临床数据显示，肺很容易受内外因素的损害，是人体最容易失守的一道防线。为实现基于医学影像的肺部疾病自动检测与筛查，需要从影像中准确提取出肺部组织。
医学图像分割技术是医学领域图像处理的关键技术之一，由于身体组织器官的复杂性和个体差异性，再加上医学图像具有一些自己的特征，例如成像的原理和模型的多样性、噪声以及不同的设备状况，都会导致最后有不同的成像结果，造成了传统图像分割算法在医学图像分割领域中分割结果不准确问题。
在医学图像分割领域中的肺组织分割领域中，肺部组织成像由于肺部组织结构复杂，肺血管对比度低，细小血管结构复杂，肺部图像噪声较多等特点，使得肺实质和肺血管分割具有一定的难度，在过去一些时间内，大多通过人工或半自动方式来进行，但是，对操作者的水平要求较高，并且其精确度也难以保证。
近年来，随着计算机技术的发展，许多研究人员运用深度学习技术对疾病诊断分析，深度学习运用于医学领域提高疾病诊断和辅助治疗已经成为一种趋势，并在生物医学图像分割中取得了最先进的性能。但是，目前基于U-net的分割算法精确度还有待提升。
更重要的是这些基于深度学习的方法通常比较复杂，需要强大的计算资源支持。但根据实际情况，我们在临床下使用巨大的计算资源是不切实际的。因此，开发基于资源约束计算的深度学习的生物医学图像分割方法具有重要意义。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了一种CT图像中肺实质和肺血管的分割方法及装置，能够在降低模型复杂度的同时，提高算法分割结果的精确度。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了CT图像中肺实质和肺血管的分割方法，包括：构建端到端的轻量级多尺度卷积神经网络；所述轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块；
获取第一CT图像，并将所述第一CT图像输入到所述轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将所述分割概率图阈值化得到所述肺实质的分割结果；
将所述肺实质的分割结果和所述第一CT图像进行运算获得只含有肺部区域的第二CT图像；
将所述第二CT图像的数据集输入到所述轻量级多尺度卷积神经网络中，输出肺血管分割结果。
在一种可能的实现方式中，
根据特征图尺寸和位置不同，所述神经网络分为M组卷积层，第1至第M-1组卷积层中均包含两次所述卷积操作，第M组中包含三次所述卷积操作；
根据网络结构，所述神经网络分成下采样阶段和上采样阶段；在所述下采样阶段包括N次最大池化操作，在所述上采样阶段包括N次反卷积操作；其中N＝(M-1)/2；每次所述最大池化操作使得所述特征图尺寸减半，每次所述反卷积操作使得所述特征图尺寸增倍。
在一种可能的实现方式中，将第i组卷积层的输出的特征图作为第i+1组卷积层的输入特征图；其中，第1组卷积层的输入特征图为所述第一CT图像或所述第二CT图像；
在所述下采样阶段，每组所述卷积层的操作，包括：
获取第i组卷积层的输入特征图；其中，i取1，2，…，N；
对所述第i组卷积层的输入特征图进行所述卷积操作，输出卷积后的数据集；
将所述数据集通过归一化层和ReLU激活函数进行处理，并进行最大池化操作，获得第i组卷积层的输出的特征图；
在所述上采样阶段，每组所述卷积层的操作，包括：
获取第i组卷积层的输入特征图；其中，i取N+1，N+2，…，M-1；
对所述第i组卷积层的输入特征图进行所述卷积操作，输出卷积后的数据集；
将所述数据集通过归一化层和ReLU激活函数进行处理，并进行反卷积操作，获得第i组卷积层的输出的特征图。
在一种可能的实现方式中，所述卷积操作在所述编码器和所述解码器中进行，所述卷积操作采用金字塔型卷积；所述金字塔型卷积的卷积核采用四种不同尺寸；
所述进行所述卷积操作，输出卷积后的数据集，包括：
所述第M组卷积层的输入特征图经过所述四种不同尺寸的卷积核的运算，提取不同尺度的信息；
将所述四种不同尺寸的卷积核的不同尺度的信息合并，输出所述卷积后的数据集。
在一种可能的实现方式中，所述金字塔型卷积的参数量的计算公式为：
Figure BDA0003832408760000031
所述金字塔型卷积的浮点运算数的计算公式为：
Figure BDA0003832408760000041
其中，n代表所四种不同尺寸的卷积核，FMo1+FMo2+FMo3+FMo4＝FMo，
Figure BDA0003832408760000042
近似为
Figure BDA0003832408760000043
K为所述卷积核的尺寸，FMi为输入特征图，FMo为输出特征图，W为所述输出特征图的宽，H为所述输出特征图的高。
在一种可能的实现方式中，所述轻量级多尺度卷积神经网络通过所述跳跃连接使得所述解码器中深层特征图和所述编码器中浅层特征图相融合；
在进行所述融合时，对编解码器的特征信息中的肺实质和肺血管的结构信息进行增强。
在一种可能的实现方式中，所述混合注意力模块置于所述编码器与所述解码器之间的所述跳跃连接上。
在一种可能的实现方式中，所述混合注意力模块采用通道注意力模块和空间注意力模块顺序组合的形式，分别得到注意力权重；
所述注意力权重通过与来自所述编码器的特征图相乘调整所述来自所述编码器的特征图；
所述注意力模块的内部，参数为共享模式。
第二方面，本申请实施例提供了一种CT图像中肺实质和肺血管的自动分割装置，包括：神经网络构建模块，用于构建端到端的轻量级多尺度卷积神经网络；所述轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块；
肺实质分割模块，用于获取第一CT图像，并将所述第一CT图像输入到所述轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将所述分割概率图阈值化得到所述肺实质的分割结果；
运算模块，用于将所述肺实质的分割结果和所述第一CT图像进行运算获得只含有肺部区域的第二CT图像；
肺血管分割模块，用于将所述第二CT图像的数据集输入到所述轻量级多尺度卷积神经网络中，输出肺血管分割结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面中任一项所述的CT图像中肺实质和肺血管的分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面中任一项所述的CT图像中肺实质和肺血管的分割方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例，通过构建一种端到端的轻量级多尺度卷积神经网络框架，能够完成肺实质和肺血管的快速分割任务；该端到端的轻量级多尺度卷积神经网络中设计了混合注意力模块、编码器、解码器和跳跃连接，使神经网络框架不仅在分割精度上有所提升，同时在网络参数及复杂度上也有一定降低。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的CT图像中肺实质和肺血管的分割方法的流程示意图；
图2是本申请一实施例提供的CT图像中肺实质和肺血管的分割方法CT图像处理流程示意图；
图3是本申请一实施例提供的CT图像中肺实质和肺血管的分割方法的框架示意图；
图4是本申请一实施例提供的框架图中的金字塔型卷积图；
图5是本申请一实施例提供的框架图中的混合注意力模块图；
图6是本申请一实施例提供的第一CT图像经过混合注意力模块前后对比图；
图7是本申请一实施例提供的肺实质分割结果示意图；
图8是本申请一实施例提供的肺部区域提取过程示意图；
图9是本申请一实施例提供的肺血管分割结果示意图；
图10是本申请一实施例提供的CT图像中肺实质和肺血管的分割装置的结构示意图；
图11是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图和具体实施方式，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本申请一实施例提供的CT图像中肺实质和肺血管的分割方法的示意性流程图，参照图1和图2，对该CT图像中肺实质和肺血管的分割方法的详述如下：
在步骤101中，构建端到端的轻量级多尺度卷积神经网络。
其中，轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块。
一实施例中，为构建端到端的轻量级多尺度卷积神经网络先进行数据集的准备。将相关数据集人工标注后由该领域的专家进一步验证以确保准确性，然后利用缩放、平移、翻转、旋转和伽马变换等数据增强技术扩充数据集，这在一定程度上解决了训练数据集不足的问题，提高了模型的泛化能力。
本实施例在CPU为Xeon(R)W-2255 3.70GHz，显卡为NVIDIA Geforce RTX 3090，内存为24GB的计算机中实现，实现方式为Python。
然后构建一种包含编码器、解码器、跳跃连接和混合注意力模块的端到端的轻量级多尺度卷积神经网络，如图3所示。
具体的，根据特征图尺寸和位置不同，神经网络分为M组卷积层，第1至第M-1组卷积层中均包含两次卷积操作，第M组中包含三次卷积操作。
根据网络结构，神经网络分成下采样阶段和上采样阶段；在下采样阶段包括N次最大池化操作，在上采样阶段包括N次反卷积操作；其中N＝(M-1)/2；每次最大池化操作使得特征图尺寸减半，每次反卷积操作使得特征图尺寸增倍。
具体的，将第i组卷积层的输出的特征图作为第i+1组卷积层的输入特征图，其中，第1组卷积层的输入特征图为第一CT图像或第二CT图像。在下采样阶段，每组卷积层的操作，包括：获取第i组卷积层的输入特征图；其中，i取1，2，…，N。对第i组卷积层的输入特征图进行卷积操作，输出卷积后的数据集。将数据集通过归一化层和ReLU激活函数进行处理，并进行最大池化操作，获得第i组卷积层的输出的特征图。
在上采样阶段，每组卷积层的操作，包括：获取第i组卷积层的输入特征图；其中，i取N+1，N+2，…，M-1。对第i组卷积层的输入特征图进行卷积操作，输出卷积后的数据集。将数据集通过归一化层和ReLU激活函数进行处理，并进行反卷积操作，获得第i组卷积层的输出的特征图。
一实施例中，若M＝9，则N＝4，则网络总共分为9组卷积层，每组卷积层中包含两次卷积操作，在第9组卷积层中有3次卷积操作。那么多尺度卷积神经网络共包含19次卷积操作，4次最大池化操作和4次反卷积操作。
多尺度卷积神经网络在下采样阶段一共进行了4次最大池化操作，每组卷积层之间的箭头代表特征图尺寸减半过程，经过4次最大池化操作后特征图尺寸，即分辨率从512×512变成了32×32，通道数从32变成了512。在上采样阶段，总共进行了4次反卷积操作，每组卷积层之间的箭头代表特征图尺寸增倍过程，每次反卷积使得特征图尺寸增倍，在第9组卷积层中最后运用了尺寸为1×1的卷积核进行卷积，输出对应的分割概率图。
具体的，卷积操作在编码器和解码器中进行，卷积操作采用金字塔型卷积；金字塔型卷积的卷积核采用四种不同尺寸。
进行卷积操作，输出卷积后的数据集，包括：第i组卷积层的输入特征图经过四种不同尺寸的卷积核的运算，提取不同尺度的信息，将四种不同尺寸的卷积核的不同尺度的信息合并，输出卷积后的数据集。
在本实施例中，参见图4，为图3中左侧虚线方框中的详细展示，金字塔型卷积用来获取更多的细节信息。在本实施例中卷积核采用3×3、5×5、7×7和9×9四种不同的尺寸，特征图经过四个不同大小的卷积核的运算，可以提取不同尺度的信息，最后合并输出。
示例性的，在下采样过程中，将合并输出的特征图作为卷积后的数据集，卷积后的数据集经过归一化层Batch Normalization和ReLU激活函数，经过最大池化操作，输出第4组卷积层的输出的特征图。
示例性的，在上采样过程中，将合并输出的特征图作为卷积后的数据集，卷积后的数据集经过归一化层Batch Normalization和ReLU激活函数，经过反卷积操作，输出第8组卷积层的输出的特征图。将第8组卷积层的输出的特征图输入到第9组卷积层中，经过3次卷积并阈值化处理得到第9组卷积层的输出的特征图(即下述步骤102中分割肺实质时的肺实质的分割结果或步骤104中分割肺血管时的肺血管的分割结果)。
通过上述过程可以很好的解决梯度消失和梯度爆炸的问题，并且可以加快训练速度。最重要的是，金字塔型卷积并没有引入额外的计算量。
示例性的，对于标准卷积来说，其计算参数量和浮点运算数可以分别表示为：
Figure BDA0003832408760000101
Figure BDA0003832408760000102
其中K为卷积核的尺寸，FMi为输入特征图，FMo为输出特征图，W、H分别为输出特征图的宽和高。
具体的，金字塔型卷积的参数量的计算公式为：
Figure BDA0003832408760000103
金字塔型卷积的浮点运算数的计算公式为：
Figure BDA0003832408760000104
其中，n代表所四种不同尺寸的卷积核，FMo1+FMo2+FMo3+FMo4＝FMo，
Figure BDA0003832408760000105
近似为
Figure BDA0003832408760000106
K为卷积核的尺寸，FMi为输入特征图，FMo为输出特征图，W为输出特征图的宽，H为输出特征图的高。
可见，金字塔型卷积的参数量和浮点运算数与单个尺寸的标准卷积是大致相同的。
因此，金字塔型卷积可以在不额外增加计算量的情况下，增大感受野，提取不同尺度的特征信息；并且支持并行计算，它可以在不同的计算单元上独立执行，最后合并输出即可。
示例性的，轻量级多尺度卷积神经网络通过跳跃连接使得解码器中深层特征图和编码器中浅层特征图相融合。在进行融合时，对编解码器的特征信息中的肺实质的结构信息进行增强。
更具体的说，通过跳跃连接可以让解码器中深层的、语义的、粗糙的特征图和编码器中浅层的、低级的、精细的特征图相结合，这样使得浅层特征图的特征信息得到更加充分的表达。
具体的，混合注意力模块AG置于编码器与解码器之间的跳跃连接上。
具体的，混合注意力模块采用通道注意力模块和空间注意力模块顺序组合的形式，分别得到注意力权重。注意力权重通过与来自编码器的特征图相乘调整来自编码器的特征图。注意力模块的内部，参数为共享模式。
示例性的，参见图5，是图3中AG模块的详细展示。混合注意力模块采用通道注意力模块和空间注意力模块顺序组合的形式，分别得到注意力权重。输入特征图和注意力权重相乘将得到新的输出特征图。通过注意力权重可以对特征信息自适应的进行调整，让不相关的区域的值变小，目标区域的值变大，从而提高分割精度。而在注意力模块的内部，其参数是共享的，因此它是一种轻量级的模块，并没有给整个网络引入过多的参数，带来更大的计算量。
示例性的，将混合注意力模块应用于解码部分，来自编码器的浅层语义信息通过跳跃连接输入到混合注意力模块，在网络训练的过程中，会逐渐加大对目标区域(即肺实质或肺血管区域)的权重分配，从而增强浅层特征图的结构信息(即突出肺实质或肺血管的特征信息)，消除背景引入的噪声成分。这样，在和高层语义信息进行融合时，浅层更精细的特征信息将会得到更好的表达。
在步骤102中，获取第一CT图像，并将第一CT图像输入到轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将分割概率图阈值化得到肺实质的分割结果。
一实施例中，将第一CT图像输入到M＝9的轻量级多尺度卷积神经网络中，该第一CT图像作为第1组卷积层的输入特征图，每组卷积层经过下采样阶段的卷积操作，归一化、ReLU激活函数和最大池化操作后，获得第4组卷积层的输出的特征图。再将第4组卷积层的输出的特征图输入到第5组卷积层，每组卷积层经过上采样阶段的卷积操作，归一化、ReLU激活函数和反卷积操作。
示例性的，第一CT图像同时经过混合注意力模块处理后，肺实质的结构更加明显，其边界更加清晰，而图像中其余的区域得到一定抑制，这样可以更好地提高肺实质分割的准确率，如图6所示。
示例性的，本实施例中，经过上述操作，获得第8组卷积层的输出特征图。最后将第8组卷积层的输出特征图作为第9组卷积层的输入特征图，经过三次卷积操作和Sigmoid激活函数处理输出第9组卷积层的输出特征图，即肺实质分割结果。
轻量级多尺度卷积神经网络通过跳跃连接使得解码器中深层特征图和编码器中浅层特征图相融合；在进行融合时，对编解码器的特征信息中的肺实质的结构信息进行增强。
一实施例中，如图2中StageⅠ，将大小为512×512的第一CT图像输入至本发明提出的一种端到端的轻量级多尺度卷积神经网络框架中，通过该卷积神经网络进行特征提取与处理后输出肺实质概率图，通过对该肺实质概率图阈值得到只含肺实质的二值掩码。如图7所示，图7中的(a)、(b)、(c)、(d)为四幅不同切片上肺实质的分割结果。
在步骤103中，将肺实质的分割结果和第一CT图像进行运算获得只含有肺部区域的第二CT图像。
示例性的，如图8所示，将步骤102得到的肺实质的分割结果，即肺实质的二值掩码，与第一CT图像进行与操作得到只含肺部区域的第二CT图像，以此作为后面肺部血管分割的输入图像。
在步骤104中，将第二CT图像的数据集输入到轻量级多尺度卷积神经网络中，输出肺血管分割结果。
在一实施例中，将第二CT图像输入到M＝9的轻量级多尺度卷积神经网络中，该第二CT图像作为第1组卷积层的输入特征图，每组卷积层经过下采样阶段的卷积操作，归一化、ReLU激活函数和最大池化操作后，获得第4组卷积层的输出的特征图。再将第4组卷积层的输出的特征图输入到第5组卷积层，每组卷积层经过上采样阶段的卷积操作，归一化、ReLU激活函数和反卷积操作。
示例性的，第二CT图像同时经过混合注意力模块处理后，肺血管的结构更加明显，其边界更加清晰，而图像中其余的区域得到一定抑制，这样可以更好地提高肺血管分割的准确率。
轻量级多尺度卷积神经网络通过跳跃连接使得解码器中深层特征图和编码器中浅层特征图相融合；在进行融合时，对编解码器的特征信息中的肺血管的结构信息进行增强。
示例性的，本实施例中，经过上述操作，获得第8组卷积层的输出特征图。最后将第8组卷积层的输出特征图作为第9组卷积层的输入特征图，第9组卷积层的输入特征图经过三次卷积操作和Sigmoid激活函数处理输出第9组卷积层的输出特征图，即肺血管分割结果。
如图2中StageⅡ，利用实施例提出的卷积神经网络对只含肺部区域的第二CT图像进行血管分割。将大小为512×512的只含肺部区域的第二CT图像输入本实施例提出的一种端到端的轻量级多尺度卷积神经网络框架中，通过该卷积神经网络对特征进行提取计算后，输出肺血管分割结果。如图9所示，图9中的(a)、(b)、(c)、(d)为四幅不同切片上肺血管的分割结果。
一实施例中，为了证明本发明的有效性，进行了相关实验。本次实验中所使用的数据来自kaggle竞赛的公开数据，共有267张分辨率为512×512的二维CT图像，并且每张都附带标注信息。训练数据和测试数据包含不同的CT图像，保证了本文算法的有效性和可行性。
在测试数据中，采用本实施例方案得到的肺实质分割指标系数Dice为98.01％，Miou为96.69％，与基于U-net的分割算法相比，Dice提高了19.67％，Miou提高了23.90％。部分优秀算法对该数据集的分割结果如表1所示。
表1部分优秀算法对该数据集的分割结果
Figure BDA0003832408760000141
注：*代表算法取得较优成绩
可以发现本发明在各项指标都优于现有优秀算法，即不仅在肺实质的分割精度上有所提升，并且在算法参数量及复杂度上也有所降低。
在测试数据中，采用本实施例方案得到的肺血管分割指标系数Dice为84.36％，Miou为73.99％，与基于U-net的分割算法相比，Dice提高了3.5％，Miou提高了3.75％。
同时，本发明模型参数量及浮点运算数分别为6.72MB，36.81GMac，和基于U-net的分割算法相比，Number of parameters降低了1.05MB，FLOPs降低了11.76GMac。
可见本发明利用图像处理技术实现的CT图像中肺实质和肺血管的分割方法，通过构建一种端到端的轻量级多尺度卷积神经网络框架，能够完成肺实质和肺血管的快速分割任务；该端到端的轻量级多尺度卷积神经网络中设计了金字塔型卷积，有效地聚合了特征的多尺度信息；混合注意力模块，分别从空间维度和通道维度上对特征图进行自适应的调整，以突显分割目标区域的结构信息；解码器结构通过跳跃连接融合了编码器部分生成的高分辨率特征图，优化了对分割目标边缘和细节的处理；本发明构建的神经网络框架不仅在分割精度上有所提升，同时在网络参数及复杂度上也有一定降低。
应理解，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例的CT图像中肺实质和肺血管的分割方法，图10示出了本申请实施例提供的神经类型测试卷的智能阅卷装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参见图10，本申请实施例中的神经类型测试卷的智能阅卷装置可以包括神经网络构建模块201、肺实质分割模块202、运算模块203和肺血管分割模块204。
其中，神经网络构建模块201，用于构建端到端的轻量级多尺度卷积神经网络；轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块。肺实质分割模块202，用于获取第一CT图像，并将第一CT图像输入到轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将分割概率图阈值化得到肺实质的分割结果。运算模块203，用于将肺实质的分割结果和第一CT图像进行运算获得只含有肺部区域的第二CT图像。肺血管分割模块204，用于将第二CT图像的数据集输入到轻量级多尺度卷积神经网络中，输出肺血管分割结果。
需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备，参见图11，该终端设备300可以包括：至少一个处理器310和存储器320，所述存储器320中存储有可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图1所示实施例中的步骤101至步骤104。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块201至204的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。
本领域技术人员可以理解，图11仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的CT图像中肺实质和肺血管的分割方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述CT图像中肺实质和肺血管的分割方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述CT图像中肺实质和肺血管的分割方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种CT图像中肺实质和肺血管的分割方法，其特征在于，包括：
构建端到端的轻量级多尺度卷积神经网络；所述轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块；
获取第一CT图像，并将所述第一CT图像输入到所述轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将所述分割概率图阈值化得到所述肺实质的分割结果；
将所述肺实质的分割结果和所述第一CT图像进行运算获得只含有肺部区域的第二CT图像；
将所述第二CT图像的数据集输入到所述轻量级多尺度卷积神经网络中，输出肺血管分割结果。
2.如权利要求1所述的CT图像中肺实质和肺血管的分割方法，其特征在于，根据特征图尺寸和位置不同，所述神经网络分为M组卷积层，第1至第M-1组卷积层中均包含两次所述卷积操作，第M组中包含三次所述卷积操作；
根据网络结构，所述神经网络分成下采样阶段和上采样阶段；在所述下采样阶段包括N次最大池化操作，在所述上采样阶段包括N次反卷积操作；其中N＝(M-1)/2；每次所述最大池化操作使得所述特征图尺寸减半，每次所述反卷积操作使得所述特征图尺寸增倍。
3.如权利要求2所述的CT图像中肺实质和肺血管的分割方法，其特征在于，将第i组卷积层的输出的特征图作为第i+1组卷积层的输入特征图；其中，第1组卷积层的输入特征图为所述第一CT图像或所述第二CT图像；
在所述下采样阶段，每组所述卷积层的操作，包括：
获取第i组卷积层的输入特征图；其中，i取1，2，…，N；
对所述第i组卷积层的输入特征图进行所述卷积操作，输出卷积后的数据集；
将所述数据集通过归一化层和ReLU激活函数进行处理，并进行最大池化操作，获得第i组卷积层的输出的特征图；
在所述上采样阶段，每组所述卷积层的操作，包括：
获取第i组卷积层的输入特征图；其中，i取N+1，N+2，…，M-1；
对所述第i组卷积层的输入特征图进行所述卷积操作，输出卷积后的数据集；
将所述数据集通过归一化层和ReLU激活函数进行处理，并进行反卷积操作，获得第i组卷积层的输出的特征图。
4.如权利要求3所述的CT图像中肺实质和肺血管的分割方法，其特征在于，所述卷积操作在所述编码器和所述解码器中进行，所述卷积操作采用金字塔型卷积；所述金字塔型卷积的卷积核采用四种不同尺寸；
所述进行所述卷积操作，输出卷积后的数据集，包括：
所述第M组卷积层的输入特征图经过所述四种不同尺寸的卷积核的运算，提取不同尺度的信息；
将所述四种不同尺寸的卷积核的不同尺度的信息合并，输出所述卷积后的数据集。
5.如权利要求4所述的CT图像中肺实质和肺血管的分割方法，其特征在于，所述金字塔型卷积的参数量的计算公式为：
Figure FDA0003832408750000021
所述金字塔型卷积的浮点运算数的计算公式为：
Figure FDA0003832408750000022
其中，n代表所四种不同尺寸的卷积核，FMo1+FMo2+FMo3+FMo4＝FMo，
Figure FDA0003832408750000023
近似为
Figure FDA0003832408750000024
K为所述卷积核的尺寸，FMi为输入特征图，FMo为输出特征图，W为所述输出特征图的宽，H为所述输出特征图的高。
6.如权利要求1所述的CT图像中肺实质和肺血管的分割方法，其特征在于，所述轻量级多尺度卷积神经网络通过所述跳跃连接使得所述解码器中深层特征图和所述编码器中浅层特征图相融合；
在进行所述融合时，对编解码器的特征信息中的肺实质和肺血管的结构信息进行增强。
7.如权利要求6所述的CT图像中肺实质和肺血管的分割方法，其特征在于，所述混合注意力模块置于所述编码器与所述解码器之间的所述跳跃连接上。
所述混合注意力模块采用通道注意力模块和空间注意力模块顺序组合的形式，分别得到注意力权重；
所述注意力权重通过与来自所述编码器的特征图相乘调整所述来自所述编码器的特征图；
所述注意力模块的内部，参数为共享模式。
8.一种CT图像中肺实质和肺血管的自动分割装置，其特征在于，包括：
神经网络构建模块，用于构建端到端的轻量级多尺度卷积神经网络；所述轻量级多尺度卷积神经网络包括编码器、解码器、跳跃连接和混合注意力模块；
肺实质分割模块，用于获取第一CT图像，并将所述第一CT图像输入到所述轻量级多尺度卷积神经网络中，输出肺实质的分割概率图，并将所述分割概率图阈值化得到所述肺实质的分割结果；
运算模块，用于将所述肺实质的分割结果和所述第一CT图像进行运算获得只含有肺部区域的第二CT图像；
肺血管分割模块，用于将所述第二CT图像的数据集输入到所述轻量级多尺度卷积神经网络中，输出肺血管分割结果。
9.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的CT图像中肺实质和肺血管的分割方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7任一项所述的CT图像中肺实质和肺血管的分割方法。
CN202211079599.3A 2022-09-05 2022-09-05 一种ct图像中肺实质和肺血管的分割方法及装置 Pending CN116051589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211079599.3A CN116051589A (zh) 2022-09-05 2022-09-05 一种ct图像中肺实质和肺血管的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211079599.3A CN116051589A (zh) 2022-09-05 2022-09-05 一种ct图像中肺实质和肺血管的分割方法及装置

Publications (1)

Publication Number Publication Date
CN116051589A true CN116051589A (zh) 2023-05-02

Family

ID=86118852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211079599.3A Pending CN116051589A (zh) 2022-09-05 2022-09-05 一种ct图像中肺实质和肺血管的分割方法及装置

Country Status (1)

Country Link
CN (1) CN116051589A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863358A (zh) * 2023-08-18 2023-10-10 华大天元(北京)科技股份有限公司 电网无人机巡检图像绝缘子缺陷识别方法及系统
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863358A (zh) * 2023-08-18 2023-10-10 华大天元(北京)科技股份有限公司 电网无人机巡检图像绝缘子缺陷识别方法及系统
CN117197472A (zh) * 2023-11-07 2023-12-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Similar Documents

Publication Publication Date Title
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN112102321A (zh) 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN116051589A (zh) 一种ct图像中肺实质和肺血管的分割方法及装置
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
Kashyap Evolution of histopathological breast cancer images classification using stochasticdilated residual ghost model
Maity et al. Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays
CN112308846A (zh) 血管分割方法、装置及电子设备
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
Zhou et al. Deep learning-based breast region extraction of mammographic images combining pre-processing methods and semantic segmentation supported by Deeplab v3+
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
US20180025490A1 (en) Multi-pass adaptive voting for nuclei detection in histopathological images
Wang et al. RFPNet: Reorganizing feature pyramid networks for medical image segmentation
CN116563189A (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
CN108765399B (zh) 病变部位识别装置、计算机装置及可读存储介质
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
CN110634119A (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
Nour et al. Skin lesion segmentation based on edge attention vnet with balanced focal tversky loss
Arulappan et al. Liver tumor segmentation using a new asymmetrical dilated convolutional semantic segmentation network in CT images
Arpacı et al. LUPU-Net: a new improvement proposal for encoder-decoder architecture
Bhangale et al. Multi-feature similarity based deep learning framework for semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination