CN113935976A - 一种增强ct图像的脏器内血管自动分割方法及系统 - Google Patents

一种增强ct图像的脏器内血管自动分割方法及系统 Download PDF

Info

Publication number
CN113935976A
CN113935976A CN202111229422.2A CN202111229422A CN113935976A CN 113935976 A CN113935976 A CN 113935976A CN 202111229422 A CN202111229422 A CN 202111229422A CN 113935976 A CN113935976 A CN 113935976A
Authority
CN
China
Prior art keywords
organ
blood vessel
dimensional
segmentation
internal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111229422.2A
Other languages
English (en)
Inventor
徐颂华
董彩霞
李宗芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital School of Medicine of Xian Jiaotong University
Original Assignee
Second Affiliated Hospital School of Medicine of Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital School of Medicine of Xian Jiaotong University filed Critical Second Affiliated Hospital School of Medicine of Xian Jiaotong University
Priority to CN202111229422.2A priority Critical patent/CN113935976A/zh
Publication of CN113935976A publication Critical patent/CN113935976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种增强CT图像的脏器内血管自动分割方法及系统,方法包括对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。本发明提出了一种全自动渐进式的脏器内血管分割的深度学习解决方案,旨在保持血管在其形状细节和连续性方面的完整性。实验结果表明,该方案具有较高的准确性、效率和稳健性。

Description

一种增强CT图像的脏器内血管自动分割方法及系统
技术领域
本发明涉及图像机器学习处理领域,特别涉及一种增强CT图像的脏器内血管自动分割方法及系统。
背景技术
心脑血管病严重危害人类的健康,近年来心脑血管的发病率和死亡率总体呈现上升态势,心脑血管死亡率继续呈现快速上升趋势,农村地区心脑血管的死亡率和发病率已高于城市地区。因此,对心脑血管患者尽早做出诊断,并采取科学的有效治疗措施,具有非常重要的现实意义。目前,诊断心脑血管的金标准是脏器内血管造影,但是此种方法属于有创检查,且价格较贵,并且会存在并发症等问题,不适合常规体检,而且在基层医院推广相对困难。相比之下,增强CT成像的诊断方法安全可靠无创,已在临床广泛应用。
通过增强CT图像可以重建和评估病人的脏器和脏器内血管结构。为了分析增强CT图像的一系列任务,如狭窄计算、中心线提取和斑块分析,脏器内血管自动分割是一个关键步骤。由于脏器内血管可能有丰富的直径变化和复杂的轨迹,手动脏器内血管分割是非常费力和技术要求高的,这导致了对自动脏器内血管分割的需求不断增加。
现有的脏器内血管分割方法已经利用经典的机器学习和现代的深度学习方法来分割增强CT图像中的血管。前一类方法包括基于区域、基于边缘、基于跟踪、基于图形切割和基于水平集的方法,但所有这些方法在其前处理或后处理步骤中都需要某种人工协助。后一类方法主要建立在FCN和UNET的基础上,它们分析了二维或三维小块来进行自动脏器内血管自动分割。这两类现有的方法都面临着两个共同的挑战,即:1)相对较小的脏器内血管体积分散在更大体积的周围组织中;2)脏器内血管与其相邻的血管结构(如肺血管)之间具有高度的感知相似性和紧密的空间相邻性。
发明内容
为了高效率地进行准确和稳健的脏器内血管自动分割,本发明提出了一种增强CT图像的脏器内血管自动分割方法及系统,它能够在形状细节和连续性方面保留血管的完整性。
为达到上述目的,本发明采用了以下技术方案:
一种增强CT图像的脏器内血管自动分割方法,包括以下步骤:
对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
作为本发明的进一步改进,所述利用脏器分割模块从原始CT扫描图像中提取脏器区域和三维脏器感兴趣区域具体包括:
对原始增强CT图像经灰度映射预处理后,输入HVessel-Net深度学习模型,通过监督学习和第一损失函数进行训练,生成脏器分割掩膜;
通过脏器分割掩膜对原始增强CT图像进行过滤,以获得脏器区域,并得出相应的边界框,在其冠状位和矢状位方向上保持相同的长度;通过三维裁剪操作对检测到的脏器区域提取三维脏器感兴趣区。
作为本发明的进一步改进,所述第一损失函数公式如下:
Figure BDA0003315443700000021
ytrue和ypred分别代表真值掩模和脏器分割预测的掩模。
作为本发明的进一步改进,所述全局脏器内血管分割具体包括:
将输入的三维脏器感兴趣区调整为三维矩阵,将三维矩阵输入HVessel-Net深度学习模型,通过监督学习和第二损失函数进行训练,生成三维矩阵同尺寸的三维掩模,对应于从三维脏器感兴趣区内检测到的脏器内血管;通过输入的三维脏器感兴趣区将三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维全局脏器内血管自动分割掩模。
作为本发明的进一步改进,所述第二损失函数公式如下:
Figure BDA0003315443700000031
其中,Vt和Vp分别代表真值掩膜和全局脏器内血管自动分割生成的掩膜,其骨架分别表示为St和Sp,Tprec(Sp,Vt)和Tsens(St,Vp)代表Sp在Vt中的比例和St在Vp中的比例,也分别称为拓扑结构的精准度和灵敏度指标。
作为本发明的进一步改进,所述局部脏器内血管自动分割具体包括:
在输入的三维脏器感兴趣区域内应用一个三维滑动窗口,所有三个维度的步长相同,生成一系列三维小块,每个小块的尺寸为128×128×128;每个小块被单独输入HVessel-Net深度学习模型,通过监督学习和第三损失函数进行训练,为小块所代表的三维空间内的脏器内血管生成一个三维掩模;所有产生的三维掩模组合在一起,形成一个全尺寸的三维掩模,其尺寸与输入的三维脏器感兴趣区域相同;通过输入的三维脏器感兴趣区将该三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维局部脏器内血管自动分割掩模。
作为本发明的进一步改进,所述第三损失函数公式如下:
Figure BDA0003315443700000032
Figure BDA0003315443700000033
Suos_Dice loss=1-(α×Suos+(1-α)×Dice) (6)
其中,ytrue和ypred分别代表真值掩模和脏器内血管分割预测的掩模,参数α被经验性地调整为0.3,用于保持抑制过分割和提升准确率之间的均衡。
作为本发明的进一步改进,所述HVessel-Net深度学习模型是通过在编码-解码卷积网络结构中融入扩张卷积而构建;具体结构为:
在编码阶段,一个具有3×3×3体素感受野的卷积层将特征图的分辨率降低,然后是一个扩张卷积层,保留了输入的特征图的分辨率;另一个扩展卷积层进一步处理所得到的特征图,并保留图的分辨率;
编码部分输出的最终嵌入向量由ResConv块进行转换;变换后的嵌入向量被送入网络的解码部分,其结构与网络的编码部分相同,顺序相反;
应用完全卷积层,使用sigmoid作为其激活函数,以得出最终的网络输出。
作为本发明的进一步改进,将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合具体是指采用以局部分割结果为主,全局分割结果为补充的方法进行融合;具体包括:
将全局脏器内血管分割结果进行骨架化,将骨架化的结果叠加到局部脏器内血管分割结果上,对叠加后的结果做最大连通域保留并获取到局部脏器内血管分割结果欠缺的部分以去除杂质等假阳;将所有欠缺部分对应的全局脏器内血管分割区域叠加到局部脏器内血管分割结果上,将其作为最终的脏器内血管分割结果。
一种增强CT图像的脏器内血管自动分割系统,包括:
脏器分割模块,用于对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
脏器内血管分割模块,用于对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
结果融合模块,用于将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
本发明的有益效果体现在:
本发明增强CT图像的脏器内血管自动分割方法,本研究提出了一种全自动渐进式的脏器内血管分割的深度学习解决方案,通过脏器分割模块获取的脏器感兴趣区域的基础上进行脏器内血管的分割,这样可以消除肋骨和肺血管的干扰,使得分割更准确;在脏器内血管分割阶段受益于全局脏器内血管分割重点在关注脏器内血管的概貌特征,可保持血管整体的连续性,而局部脏器内血管分割重点在关注脏器内血管的细节特征,进而保证血管形状的完整性,因此采用全局和局部分割的融合的方法,旨在同时保持血管在其形状细节和连续性方面的完整性。经实验验证所提出的解决方案在评价指标Dice(Dice SimilarityCoefficient,骰子相似系数)和ASSD(Average Symmetric Surface Distance,平均表面距离)中分别达到91.24%和1.16mm,每幅图像平均耗时仅0.124秒,高于对比方法的性能。同时对于涉及的增强CT图像,即使存在对比度差、运动伪影和脏器内血管有斑块的情况,该解决方案仍能稳健地产生满意的结果。因此该方案具有较高的准确性、效率和稳健性。
附图说明
图1为HVessel-Net网络结构图。在网络中Conv表示卷积层,也可能是扩张卷积层;ReLu表示整流的线性单元层;BN表示批量归一化层;ConvTrans表示转置的卷积层,也可能是转置的扩张卷积层。
图2为基于深度学习的渐进式的脏器内血管分割解决方案的关键处理工作流程
图3为融合方案示意图;
图4展示了从20个病例中随机抽取了9个病例的脏器分割结果。
图5展示了从30个测试案例中选取的9个具有挑战性的案例的脏器内血管分割结果。
图6为本发明优选实施例增强CT图像的脏器内血管自动分割方法流程示意图;
图7为本发明优选实施例增强CT图像的脏器内血管自动分割系统结构示意图;
图8为本发明优选实施例电子设备结构示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明,旨在对本发明提供进一步的详细说明。除非另有指明,本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式,而并非意图限制根据本发明的示例性实施方式。
如图6所示,本发明一种增强CT图像的脏器内血管自动分割方法,包括以下步骤:
对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
本发明增强CT图像的脏器内血管自动分割方法,本研究提出了一种全自动渐进式的脏器内血管分割的深度学习解决方案,旨在保持血管在其形状细节和连续性方面的完整性。实验结果表明,该方案具有较高的准确性、效率和稳健性。所述利用脏器分割模块从原始CT扫描图像中提取脏器区域和三维脏器感兴趣区域具体包括:
作为优选实施例,对原始增强CT图像在灰度映射预处理的基础上输入HVessel-Net深度学习模型,通过监督学习和第一损失函数进行训练,生成脏器分割掩膜;
通过脏器分割掩膜对原始增强CT图像进行过滤,以获得脏器区域,并得出相应的边界框,在其冠状位和矢状位方向上具有相同的长度;通过三维裁剪操作对检测到的脏器区域提取三维脏器感兴趣区。
作为优选实施例,所述全局脏器内血管分割具体包括:
将输入的三维脏器感兴趣区调整为三维矩阵,将三维矩阵输入HVessel-Net深度学习模型,通过监督学习和第二损失函数进行训练,生成三维矩阵同尺寸的三维掩模,对应于从三维脏器感兴趣区内检测到的所有脏器内血管;通过输入的三维脏器感兴趣区将三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维全局脏器内血管自动分割掩模;;
作为优选实施例,所述局部脏器内血管自动分割具体包括:
在输入的三维脏器感兴趣区域上应用一个三维滑动窗口,所有三个维度的步长相同,生成一系列三维小块,每个小块的尺寸为128×128×128体素;每个小块被单独输入HVessel-Net深度学习模型,通过监督学习和第三损失函数进行训练,为小块所代表的三维空间内的脏器内血管生成一个三维掩模;所有产生的三维掩模组合在一起,形成一个全尺寸的三维掩模,其尺寸与输入的三维脏器感兴趣区域相同;通过输入的三维脏器感兴趣区将三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维局部脏器内血管自动分割掩模。。
具体的本发明采用的所述HVessel-Net深度学习模型是通过在Vnet网络的主干中融入扩张卷积而构建;具体结构为:
在编码阶段,一个具有3×3×3体素感受野的卷积层将特征图的分辨率降低,然后是一个扩张卷积层,保留了输入的特征图的分辨率;另一个扩展卷积层进一步处理所得到的特征图,并保留图的分辨率;
编码部分输出的最终嵌入向量由ResConv块进行转换;变换后的嵌入向量被送入网络的解码部分,其结构与网络的编码部分相同,顺序相反;
应用完全卷积层,使用sigmoid作为其激活函数,以得出最终的网络输出。
最后,将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合具体是指采用以局部分割结果为主,全局分割结果为补充的方法进行融合;具体包括:
将全局脏器内血管分割结果进行骨架化,将骨架化的结果叠加到局部脏器内血管分割结果上,对叠加后的结果做最大连通域保留并获取到局部脏器内血管分割结果欠缺的部分以去除杂质等假阳;将所有欠缺部分对应的全局脏器内血管分割区域叠加到局部脏器内血管分割结果上,将其作为最终的脏器内血管分割结果。
以下本发明的方法进行详细的说明。
一、数据预处理算法设计及可行性分析步骤:
数据预处理是指将数据在放入深度学习网络前所做的处理算法,本发明数据预处理算法主要是灰度映射算法。
增强CT图像的CT值(Hounsfield Unit)范围非常大,而放入深度学习网络中的数据值范围通常是0至255,如果直接原始增强CT图像放入深度学习网络将会损失很多血管特征。因此需要选取一个Hounsfield Unit window将血管特征凸显出来。通过统计增强CT图像,确定最佳凸显血管特征的Hounsfield Unit window为[-250,450],在此基础上,对原始DICOM数据CT值做0至255的线性灰度映射,见公式1。
Figure BDA0003315443700000081
其中x和y分别代表映射前和映射后的CT值,min和max分别设置为-250HU和450HU。
二、深度学习模型HVessel-Net具体说明如下:
图像分割算法已经有很多优秀的网络结构,如Deeplab系列、unet系列及RefineNet等,但这些网络结构多是针对2D图像。在临床实践中很多医学图像都是3D体数据(如MRI、CT),Fausto Milletari等提出的3D Vnet网络在3D医学图像分割表现良好,主要是因为Vnet直接使用了3D卷积进行图像分割,同时在卷积阶段学习残差函数。但是大部分针对图像分割的网络,在学习的过程中都需要对图像做卷积再池化,降低图像尺寸的同时增大感受野获取更多信息,但是由于图像分割预测是pixel-wise的输出,所以要将池化后较小的图像尺寸上采样到原始的图像尺寸进行预测,在先减小再增大尺寸的过程中,肯定有一些信息损失了,而扩张卷积(Dilated convolution)算法可以使得深度学习网络不通过池化,也能有较大的感受野进而获取更多的信息。
基于此,本发明提出了一种新型的模型,名为HVessel-Net神经网络模型,用于自动脏器分割和脏器内血管自动分割。
HVessel-Net是通过在编码-解码卷积网络结构中融入扩张卷积而构建的。图1显示了HVessel-Net的网络结构。在其编码阶段,一个具有3×3×3体素感受野的卷积层将特征图的分辨率降低了一半(见①和②),然后是一个扩张卷积层,它保留了其输入的特征图的分辨率,但只用3×3×3的参数就达到了7×7×7体素的感受野(见③)。另一个扩展卷积层进一步处理所得到的特征图,使用3×3×3的参数获得15×15×15体素的感受野,同时也保留了这些图的分辨率(见④)。网络的编码部分输出的最终嵌入向量(见⑤)由ResConv块进行转换。变换后的嵌入向量被送入网络的解码部分,其结构与网络的编码部分相同,但顺序相反(见图1的细节)。最后,一个完全卷积层被应用,它使用sigmoid作为其激活函数,以得出最终的网络输出。
所提出的HVessel-Net模型的一个关键优势是其直接处理三维数据的能力,因此可以有效的利用空间信息。同时HVessel-Net内置的各种扩张卷积层,一组相对较小的网络参数可用于获得足够大小的感受野,而不影响特征图的分辨率,这与传统的编码-解码卷积网络结构设计相反,后者采用了传统的卷积层,因此需要更多的网络参数。通过本发明的实验结果,HVessel-Net相对于编码-解码卷积网络结构的性能优势得到了全面的提升。
三、脏器内血管自动分割渐进式的深度学习解决方案如下:
在新引入的HVessel-Net模型的基础上,本发明进一步提出了一个新的渐进式的脏器内血管自动分割的深度学习解决方案,其处理工作流程如图2所示,其关键操作列于表1。
具体包括:
首先利用其脏器分割模块从一个病例的原始CT扫描图像在灰度映射预处理的基础上提取脏器区域和三维脏器感兴趣区域(3D Cardiac ROI)。根据三维脏器感兴趣区域,全局和局部特征分别由全局脏器内血管自动分割和局部脏器内血管分割模块独立分析,生成两套脏器内血管自动分割结果,最后融合在一起,合成最终的脏器内血管自动分割结果。
表1:列出图2中的关键操作以及它们各自的输入和输出的维度。
Figure BDA0003315443700000101
具体的,其中脏器分割具体包括如下内容:
一个有能力的脏器分割模型可以提供两个重要的临床益处。首先,高质量的脏器分割结果有助于脏器重建,其结果使医生能够更直观和准确地诊断冠心疾病;其次,脏器分割产生的三维脏器感兴趣区域能够有效地消除肋骨和肺血管,从而获得更准确的脏器内血管自动分割结果。
在所提出的解决方案中,脏器分割模块是使用HVessel-Net实现的,通过监督学习训练,再加上Dice_loss函数。原始增强CT图像在进入网络前首先是进行灰度映射预处理算法,然后将数据的尺寸由512×512×N调整为128×128×128。损失函数根据骰子相似度系数(Dice)定义在公式(2)中。
Figure BDA0003315443700000111
其中,ytrue和ypred分别代表真值掩模和脏器分割预测的掩模。
随后,三维脏器感兴趣区域检测程序被执行如下。首先,将第一阶段生成的脏器分割掩膜尺寸调整至512×512×N,并对原始增强CT图像进行过滤,以获得脏器区域,并得出相应的边界框,在其冠状位和矢状位方向上具有相同的长度。三维裁剪操作进一步从检测到的脏器区域提取三维脏器感兴趣区域。
四、脏器内血管的分割包括以下内容:
脏器内血管经常表现出丰富的直径变化和复杂的轨迹,使人工脏器内血管自动分割成为一个高度费力和有技术要求的过程。因此,本发明引入了一个脏器内血管自动分割程序。给定一个三维脏器感兴趣区域,由全局脏器内血管分割和局部脏器内血管分割模块独立分析,产生两套脏器内血管自动分割结果。这两个结果被融合在一起以合成最终的脏器内血管自动分割结果。受益于上述两个模块独立完成的全局和局部脏器内血管自动分割,所提出的解决方案能够在其最终的脏器内血管自动分割输出中保留血管在形状细节和连续性方面的完整性。
(a)全局脏器内血管分割:
全局脏器内血管分割模块首先将输入的三维脏器感兴趣区域调整为256×256×128矩阵。然后将这个矩阵输入HVessel-Net,通过监督学习和clDice_loss损失函数进行训练,生成一个256×256×128尺寸的三维掩模,对应于从三维脏器感兴趣区域内检测到的所有脏器内血管。然后,这个掩模被调整为输入的三维脏器感兴趣区域的尺寸,然后通过其结果最终与原始增强CT图像尺寸一致,产生整个病例的三维全局脏器内血管自动分割掩模。
式(3)中定义的clDice_loss旨在保持全局脏器内血管自动分割结果的连续性,其中Vt和Vp分别代表真值掩膜和全局脏器内血管自动分割生成的掩膜,其骨架分别表示为St和Sp,Tprec(Sp,Vt)和Tsens(St,Vp)代表Sp在Vt中的比例和St在Vp中的比例,也分别称为拓扑结构的精准度和灵敏度指标。
Figure BDA0003315443700000121
(b)局部脏器内血管自动分割:
局部脏器内血管分割模块首先在输入的三维脏器感兴趣区域上应用一个三维滑动窗口(三个维度的步长都为64个像素),生成一系列三维小块,每个小块的尺寸为128×128×128体素。每个小块被单独送入HVessel-Net,通过监督学习和设计的新型损失函数Suos_Dice_loss进行训练,为小块所代表的三维空间内的脏器内血管生成一个三维掩模。然后,所有产生的三维掩模被组合在一起,形成一个全尺寸的三维掩模,其尺寸与输入的三维脏器感兴趣区域相同。最后,这个全尺寸的三维掩模被调整为原始增强CT图像尺寸,产生整个病例的三维局部脏器内血管自动分割掩模。
Suos_Dice_loss,定义在公式(6)中,旨在抑制过分割,同时确保局部脏器内血管分割结果的平稳性。
Figure BDA0003315443700000122
Figure BDA0003315443700000123
Suos_Dice loss=1-(α×Suos+(1-α)×Dice) (6)
其中,ytrue和ypred分别代表真值掩模和脏器内血管预测的掩模在本发明所有的实验中,参数α被经验性地调整为0.3。
五、融合具体方法如下:
全局脏器内血管分割重点在关注脏器内血管的概貌特征,进而保证整体的连续性,但由于网络的输入输出都进行了采样,这样血管的外轮廓的光滑性可能不太好。局部脏器内血管分割重点在关注脏器内血管的细节特征,进而保证形态的完整性,但由于放入网络的是数据是局部小块,这样可能会导致部分血管出现连续性不好、断裂等情况。
结合上述两个方案的优缺点,将两个结果进行融合可以得到更好的脏器内血管分割结果。融合时并没有直接采用两个结果的叠加,而是采用以局部分割结果为主,全局分割结果为补充的方法进行融合,见图3。具体来说,首先将全局脏器内血管分割结果进行骨架化;然后将骨架化的结果叠加到局部脏器内血管分割结果上,为了去除杂质等假阳,对叠加后的结果做最大连通域保留并获取到局部脏器内血管分割结果欠缺的部分(仅有骨架的部分,如图3-(A)的红色部分);最后将所有欠缺部分对应的全局脏器内血管分割区域叠加到局部脏器内血管分割结果上,将其作为最终的脏器内血管分割结果。
六、训练策略和模型评估具体如下:
训练策略:拟议的解决方案是在Python中使用深度学习库Keras实现的,它运行在配备了NVIDIA GeForce RTX 2080 Ti GPU的Ubuntu 16.04.4 LTS系统上。解决方案的关键参数根据经验优化如下:batch_size=2,epochs=90,以及初始学习率=0.001,monitor=val_loss,patience=10,factor=0.1,min_lr=1e-8。在训练阶段为了提高深度学习网络的鲁棒性,需要通过数据增广的方法来增加数据的多样性。本发明在训练阶段进行在线数据增广,采用随机的平移变换、翻转变换和高斯模糊等。平移变换在轴位、冠状位和矢状位三个方向进行随机的平移变换;翻转变换则仅在冠状位和矢状位两个方向进行随机的翻转变换;高斯模糊的引进是为了提高对不同图像质量数据的鲁棒性,高斯模糊通过随机选择模糊因子对数据进行处理,其中模糊因子取值为[0.1,0.3,0.5,0.7,1,1.2]。
评价指标:在本发明中,Dice(Dice Similarity Coefficient,骰子相似系数)和ASSD(Average Symmetric Surface Distance,平均表面距离)被用来评价脏器分割和脏器内血管分割结果的质量。Dice已被广泛用于评估图像分割质量,它计算分割结果与其真实值的重叠程度。Dice越大,分割质量就越好。鉴于血管边界在脏器内血管自动分割结果中的极端重要性,在定量评估过程中还采用了平均表面距离指标作为其衡量标准,以评估脏器内血管自动分割在血管分割边界方面的质量。ASSD越小,脏器内血管自动分割结果的质量就越好。
统计分析是在Linux计算机上使用Python 3.7进行的。使用Dice和ASSD通过与真值的比较来评估深度学习算法的诊断性能,其结果以平均值±标准差表示。通过Wilcoxon's test对Dice和ASSD的性别、年龄和切片数进行了亚组分析和比较。在本发明中,统计学意义水平被定义为P<0.05。
进行定量结果,表2显示了由所提出的解决方案产生的脏器分割和脏器内血管自动分割结果在Dice和ASSD方面的表现。为便于比较,该表还显示了同行方法的相应脏器内血管自动分割性能。请注意,同行的方法不能进行脏器分割。
本发明从增强CT数据集中随机选取了20个病例,每个病例都有其真实的脏器掩膜标记,测试了所提方案在第一阶段脏器分割任务中的表现。该解决方案在Dice和ASSD中分别达到了(94.08±1.85)%和(4.53±0.63)mm。对从增强CT数据集中随机选择的30个病例进行了第二阶段脏器内血管分割任务的性能测试,每个病例都有其真实的脏器内血管掩膜标记。该方案的Dice和ASSD分别达到了(91.24±1.29)%和(1.16±0.19)mm。对所提出的解决方案的脏器内血管自动分割结果与同行方法的结果进行了Wilcoxon测试,得出P值为9.871e-7。Dice和ASSD分数和P值一致表明,所提出的解决方案优于同行的方法,具有统计学上的显著优势。就其效率而言,所提出的解决方案在执行脏器内血管自动分割时,每张图像只消耗0.112秒,每个病例平均消耗30秒;相比之下,由有经验的医生进行手工脏器内血管分割,每个病例至少需要10分钟。表2所提提出的解决方案在脏器分割和脏器内血管分割方面的性能,及脏器内血管与同行方法的性能对比
Figure BDA0003315443700000151
定性结果,通过可视化分析了脏器内血管分割的效果,图4我们从20个病例中随机抽取了9个病例的脏器分割结果,使用RadiAnt软件包进行三维重建。图4显示了三维重建的结果,这表明由所提出的解决方案产生的脏器分割结果可以令人满意地确保以下两点:1)待被分割的脏器内血管确实位于其脏器区域内,2)肋骨和肺血管被成功地从被分割的脏器内血管所占据的区域中消除。脏器分割结果所达到的这两个特性为接下来的脏器内血管任务提供了一个良好的基础。图5显示了从30个测试案例中选取的9个具有挑战性的案例的脏器内血管分割结果,使用三维重建软件包RadiAnt进行可视化,结果表明所提出的模型确实能够进行脏器内血管分割,甚至能够处理复杂的情况,如对比度差的图像、斑块,以及左或右脏器内血管优势型。
综上,本发明介绍了一种基于深度学习的端到端的脏器内血管自动分割的解决方案。增强CT在心血管疾病的诊断中发挥着重要作用,其中脏器内血管自动分割是最具挑战性的任务之一。为了在计算上帮助这项任务,本发明提出了一种新的深度学习解决方案。设计了HVessel-Net网络,提出了一个全自动的渐进式的深度学习解决方案。该解决方案旨在保留血管在形状细节和连续性方面的完整性。该解决方案是利用360个增强CT病例开发的,其中150个病例有预先标记的真实脏器掩膜,210个病例有预先标记的真实脏器内血管掩膜。Dice和ASSD评分被用来衡量该解决方案在脏器内血管自动分割中的准确性。所提出的解决方案在Dice中达到91.24%,在ASSD中达到1.16mm,每幅图像平均消耗0.124秒,每个病例平均消耗30秒。本发明采用的新型的深度学习解决方案(基于HVessel-Net深度学习模型)能够自动学习以端到端的方式执行脏器内血管自动分割,达到了较高的准确性、效率和稳健性,即使是对于对比度差、运动伪影和因严重的疾病进展而导致的血管扭曲的图像。
本发明提出了一种全自动渐进式的脏器内血管分割的深度学习解决方案,旨在保持血管在其形状细节和连续性方面的完整性。实验结果表明,该方案具有较高的准确性、效率和稳健性。
如图7所示,本发明的另一目的在于提出一种增强CT图像的脏器内血管自动分割系统,包括:
脏器分割模块,用于对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
脏器内血管分割模块,用于对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
结果融合模块,用于将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
如图8所示,本发明第三个目的是提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述增强CT图像的脏器内血管自动分割方法的步骤。
所述增强CT图像的脏器内血管自动分割方法包括以下步骤:
对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
本发明第四个目的是提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述增强CT图像的脏器内血管自动分割方法的步骤。
所述增强CT图像的脏器内血管自动分割方法包括以下步骤:
对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种增强CT图像的脏器内血管自动分割方法,其特征在于,包括以下步骤:
对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
2.根据权利要求1所述的方法,其特征在于,
所述利用脏器分割模块从原始CT扫描图像中提取脏器区域和三维脏器感兴趣区域具体包括:
对原始增强CT图像经灰度映射预处理后,输入HVessel-Net深度学习模型,通过监督学习和第一损失函数进行训练,生成脏器分割掩膜;
通过脏器分割掩膜对原始增强CT图像进行过滤,以获得脏器区域,并得出相应的边界框,在其冠状位和矢状位方向上保持相同的长度;通过三维裁剪操作对检测到的脏器区域提取三维脏器感兴趣区。
3.根据权利要求2所述的方法,其特征在于,
所述第一损失函数公式如下:
Figure FDA0003315443690000011
ytrue和ypred分别代表真值掩模和脏器分割预测的掩模。
4.根据权利要求1所述的方法,其特征在于,
所述全局脏器内血管分割具体包括:
将输入的三维脏器感兴趣区调整为三维矩阵,将三维矩阵输入HVessel-Net深度学习模型,通过监督学习和第二损失函数进行训练,生成三维矩阵同尺寸的三维掩模,对应于从三维脏器感兴趣区内检测到的脏器内血管;通过输入的三维脏器感兴趣区将三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维全局脏器内血管自动分割掩模。
5.根据权利要求4所述的方法,其特征在于,
所述第二损失函数公式如下:
Figure FDA0003315443690000021
其中,Vt和Vp分别代表真值掩膜和全局脏器内血管自动分割生成的掩膜,其骨架分别表示为St和Sp,Tprec(Sp,Vt)和Tsens(St,Vp)代表Sp在Vt中的比例和St在Vp中的比例,也分别称为拓扑结构的精准度和灵敏度指标。
6.根据权利要求1所述的方法,其特征在于,
所述局部脏器内血管自动分割具体包括:
在输入的三维脏器感兴趣区域内应用一个三维滑动窗口,所有三个维度的步长相同,生成一系列三维小块,每个小块的尺寸为128×128×128;每个小块被单独输入HVessel-Net深度学习模型,通过监督学习和第三损失函数进行训练,为小块所代表的三维空间内的脏器内血管生成一个三维掩模;所有产生的三维掩模组合在一起,形成一个全尺寸的三维掩模,其尺寸与输入的三维脏器感兴趣区域相同;通过输入的三维脏器感兴趣区将该三维掩模的尺寸调整为与原始增强CT图像尺寸一致,得到整个病例的三维局部脏器内血管自动分割掩模。
7.根据权利要求6所述的方法,其特征在于,
所述第三损失函数公式如下:
Figure FDA0003315443690000022
Figure FDA0003315443690000023
Suos_Dice loss=1-(α×Suos+(1-α)×Dice) (6)
其中,ytrue和ypred分别代表真值掩模和脏器内血管分割预测的掩模,参数α被经验性地调整为0.3,用于保持抑制过分割和提升准确率之间的均衡。
8.根据权利要求2、4或6所述的方法,其特征在于,
所述HVessel-Net深度学习模型是通过在编码-解码卷积网络结构中融入扩张卷积而构建;具体结构为:
在编码阶段,一个具有3×3×3体素感受野的卷积层将特征图的分辨率降低,然后是一个扩张卷积层,保留了输入的特征图的分辨率;另一个扩展卷积层进一步处理所得到的特征图,并保留图的分辨率;
编码部分输出的最终嵌入向量由ResConv块进行转换;变换后的嵌入向量被送入网络的解码部分,其结构与网络的编码部分相同,顺序相反;
应用完全卷积层,使用sigmoid作为其激活函数,以得出最终的网络输出。
9.根据权利要求1所述的方法,其特征在于,
将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合具体是指采用以局部分割结果为主,全局分割结果为补充的方法进行融合;具体包括:
将全局脏器内血管分割结果进行骨架化,将骨架化的结果叠加到局部脏器内血管分割结果上,对叠加后的结果做最大连通域保留并获取到局部脏器内血管分割结果欠缺的部分以去除杂质等假阳;将所有欠缺部分对应的全局脏器内血管分割区域叠加到局部脏器内血管分割结果上,将其作为最终的脏器内血管分割结果。
10.一种增强CT图像的脏器内血管自动分割系统,其特征在于,包括:
脏器分割模块,用于对增强CT图像进行脏器分割处理提取脏器区域,由脏器区域得到三维脏器感兴趣区域;
脏器内血管分割模块,用于对所述三维脏器感兴趣区内,分别进行全局脏器内血管分割和局部脏器内血管分割产生全局脏器内血管自动分割结果和局部脏器内血管自动分割结果;
结果融合模块,用于将全局脏器内血管自动分割结果和局部脏器内血管自动分割结果融合,得到最终的脏器内血管自动分割结果。
CN202111229422.2A 2021-10-21 2021-10-21 一种增强ct图像的脏器内血管自动分割方法及系统 Pending CN113935976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111229422.2A CN113935976A (zh) 2021-10-21 2021-10-21 一种增强ct图像的脏器内血管自动分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111229422.2A CN113935976A (zh) 2021-10-21 2021-10-21 一种增强ct图像的脏器内血管自动分割方法及系统

Publications (1)

Publication Number Publication Date
CN113935976A true CN113935976A (zh) 2022-01-14

Family

ID=79283620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111229422.2A Pending CN113935976A (zh) 2021-10-21 2021-10-21 一种增强ct图像的脏器内血管自动分割方法及系统

Country Status (1)

Country Link
CN (1) CN113935976A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272165A (zh) * 2022-05-10 2022-11-01 推想医疗科技股份有限公司 图像的特征提取方法、图像分割模型的训练方法和装置
CN115409819A (zh) * 2022-09-05 2022-11-29 青岛埃米博创医疗科技有限公司 一种肝部图像重建方法以及重建系统
WO2023152688A1 (en) * 2022-02-10 2023-08-17 Cathworks Ltd. System and method for machine-learning based sensor analysis and vascular tree segmentation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152688A1 (en) * 2022-02-10 2023-08-17 Cathworks Ltd. System and method for machine-learning based sensor analysis and vascular tree segmentation
CN115272165A (zh) * 2022-05-10 2022-11-01 推想医疗科技股份有限公司 图像的特征提取方法、图像分割模型的训练方法和装置
CN115272165B (zh) * 2022-05-10 2023-09-26 推想医疗科技股份有限公司 图像的特征提取方法、图像分割模型的训练方法和装置
CN115409819A (zh) * 2022-09-05 2022-11-29 青岛埃米博创医疗科技有限公司 一种肝部图像重建方法以及重建系统
CN115409819B (zh) * 2022-09-05 2024-03-29 苏州埃米迈德医疗科技有限公司 一种肝部图像重建方法以及重建系统

Similar Documents

Publication Publication Date Title
Huang et al. Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images
CN110807829B (zh) 一种基于超声成像构建三维心脏模型的方法
CN113935976A (zh) 一种增强ct图像的脏器内血管自动分割方法及系统
CN110163809A (zh) 基于U-net生成对抗网络DSA成像方法及装置
CN111667478B (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
JP2008503303A (ja) 気管気管支樹を表示する方法及び装置
WO2022105623A1 (zh) 一种基于迁移学习的颅内血管病灶识别方法
EP4018415A1 (en) Computerised tomography image processing
Chen et al. An improved level set for liver segmentation and perfusion analysis in MRIs
CN112862833A (zh) 血管分段方法、电子装置和存储介质
JP2022539078A (ja) 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法
CN110969633B (zh) 一种心脏ct成像自动最优相位识别方法
CN110349143B (zh) 一种确定管状组织感兴趣区的方法、装置、设备及介质
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN110599499A (zh) 基于多路卷积神经网络的mri图像心脏结构分割方法
CN116630463B (zh) 一种基于多任务学习的增强ct图像生成方法和系统
CN115908463A (zh) 基于半监督一致性学习的3d冠状动脉图像分割方法
CN112562058B (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN113470060B (zh) 基于ct影像的冠状动脉多角度曲面重建可视化方法
Dong et al. A novel end‐to‐end deep learning solution for coronary artery segmentation from CCTA
Zhao et al. Automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks
Pang et al. NCCT-CECT image synthesizers and their application to pulmonary vessel segmentation
Rezaei Generative adversarial network for cardiovascular imaging
CN114864095A (zh) 一种结合多运动强度下的狭窄冠脉血运变化的分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination