CN117152173A - 一种基于DUNetR模型的冠状动脉分割方法和系统 - Google Patents

一种基于DUNetR模型的冠状动脉分割方法和系统 Download PDF

Info

Publication number
CN117152173A
CN117152173A CN202311143680.8A CN202311143680A CN117152173A CN 117152173 A CN117152173 A CN 117152173A CN 202311143680 A CN202311143680 A CN 202311143680A CN 117152173 A CN117152173 A CN 117152173A
Authority
CN
China
Prior art keywords
dunetr
model
coronary artery
block
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311143680.8A
Other languages
English (en)
Inventor
潘丹
骆根强
许灿耀
陈启俊
吕锦
曾安
刘军
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202311143680.8A priority Critical patent/CN117152173A/zh
Publication of CN117152173A publication Critical patent/CN117152173A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于DUNetR模型的冠状动脉分割方法和系统，包括：获取三维的冠状动脉CTA图像数据集并进行预处理；建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，将待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割；本发明构建Transformer和UNet双网络并行结合的DUNetR模型，使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割，能够显著提高分割精度。

Description

一种基于DUNetR模型的冠状动脉分割方法和系统
技术领域
本发明涉及CT血管图像分割技术领域，更具体地，涉及一种基于DUNetR模型的冠状动脉分割方法和系统。
背景技术
目前，冠状动脉三维CT血管图像(CT angiography，CTA)的分割分为传统方法的和深度学习的两种方法。传统的方法包括图像分割法和基于水平集的方法，这些方法通常需要手动放置种子点或标注区域进行分割，并且基本上是半自动的。另一方面，基于深度学习的分割方法可以基于二维切片分割或者三维图像分割，然而，使用二维图像进行分割会导致三维空间信息的丢失，影响分割的冠状动脉图像的连续性。直接应用三维卷积神经网络进行分割，计算量大，增加了计算复杂度。因此，现有的分割技术存在空间连续性不足、需要人工干预、分割精度低、计算资源消耗大等技术局限性，无法同时得到解决。
现有技术中公开了一种全自动冠状动脉分割方法，包括以下步骤：首先，分割心脏区域，里面包括冠状动脉；然后对分割出的心脏区域进行血管增强处理，以增强冠状动脉图像；接着对血管增强处理后的图像进行种子体素的自动检测，以解决传统区域分割方法需要人工干预的问题；最后通过一致性判断分割出冠状动脉；然而，该方法需要进行心脏配准、血管增强处理以及种子点检测等步骤，相较于深度学习分割冠状动脉的方法，该方法需要调整较多的参数，并且在特征提取和特征交互方面不如深度学习方法；此外，在原始图像中，由于CT成像问题，部分冠状动脉中的体素值与周围体素值相差较小，导致边缘模糊，基于海森矩阵和邻域分割冠状动脉的方法可能受到较大的影响；
现有技术中还公开了一种自动检测与分割颅内CTA图像中动脉瘤区域的方法和装置，装置包括以下模块：接收模块，用于接收待处理的颅内CTA图像；分割模块，利用动脉瘤分割网络在CTA图像中采样的三维图像块执行动脉瘤分割；重采样模块，用于合并分割模块分割出的动脉瘤区域，并基于连通域对三维图像块进行重采样；检测模块，利用动脉瘤分类网络对重采样的三维图像块进行分类，以判定是否存在动脉瘤；该现有技术中的方法主要通过检测CTA图像中的动脉瘤区域，在patch级别上分割动脉瘤，然而，在心脏附近的区域存在冠状动脉以外的干扰，如毛细血管等相似区域，可能会对分割的准确度造成影响。
发明内容
本发明为克服上述现有技术未能实现冠状动脉的全自动分割且分割准确度不高的缺陷，提供一种基于DUNetR模型的冠状动脉分割方法和系统，构建Transformer和UNet双网络并行结合的DUNetR模型，使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割，能够显著提高分割精度。
为解决上述技术问题，本发明的技术方案如下：
一种基于DUNetR模型的冠状动脉分割方法，包括以下步骤：
S1：获取三维的冠状动脉CTA图像数据集并进行预处理；
S2：建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
S3：获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
S4：利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
优选地，所述步骤S1中预处理的具体方法包括：尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种。
优选地，所述步骤S2中建立的DUNetR模型具体为：
所述DUNetR模型包括并行设置的Transformer网络和UNet网络；
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块；每个Transformer模块结构相同，均包括3个依次连接的Transformer层；
所述UNet网络包括输入层、编码器、解码器和输出层；
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块，以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块；
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块；
所述第一编码块的输出还与输出层的输入连接，第二编码块的输出还与第一叠加块的输入连接，第三编码块的输出还与第二叠加块的输入连接，第四编码块的输出还与第三叠加块的输入连接，第五编码块的输出还与第四叠加块的输入连接；
所述第一叠加块的输出与第一解码块的输入连接，第二叠加块的输出与第二解码块的输入连接，第三叠加块的输出与第三解码块的输入连接，第四叠加块的输出与第四解码块的输入连接；所述第一解码块的输出与输出层的输入连接，输出层的输出作为所述DUNetR模型的输出；
所述第一Transformer模块的输出还与第一叠加块的输入连接，第二Transformer模块的输出还与第二叠加块的输入连接，第三Transformer模块的输出还与第三叠加块的输入连接，第四Transformer模块的输出还与第四叠加块的输入连接。
优选地，所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice，具体为：
其中，P表示DUNetR模型的预测结果，R表示预处理后的冠状动脉CTA图像数据的真实标签。
优选地，所述步骤S2中，获取训练后的DUNetR模型的具体方法为：
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，并在每次训练后计算当损失函数Ldice，当损失函数Ldice的值大于预设阈值时，完成训练，获取训练后的DUNetR模型。
优选地，所述步骤S4中，利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果的具体方法为：
对初步分割结果中的冠状动脉标签进行形态学处理，具体为：
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀，通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域，完成平滑处理，获得最终的分割结果。
优选地，所述步骤S4之后还包括：将最终的分割结果映射至医学图像空间，将映射后的数据以nii格式进行存储。
本发明还提供一种基于DUNetR模型的冠状动脉分割系统，基于上述的冠状动脉分割方法，包括：
数据预处理模块：用于获取三维的冠状动脉CTA图像数据集并进行预处理；
模型建立和训练模块：用于建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
初步分割模块：用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
后处理模块：用于利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
本发明还提供一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中的步骤。
本发明还提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行上述方法中的步骤。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种基于DUNetR模型的冠状动脉分割方法和系统，首先获取三维的冠状动脉CTA图像数据集并进行预处理；建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割；
本发明通过图像缩放、旋转、图像增强等数字图像处理方法对原始图像的进行增强和扩增，使得网络模型具有更好的学习效率；同时，本发明提出一种全新的结合全局上下文分割和局部细节分割全自动双网络并行结合的冠状动脉分割模型，具有更高的分割精确度和效率；本发明引入了Transformer模型，利用注意力机制对长距离特征的获取能力，能够更加有效地提取3D图像上下间的特征信息，以实现全局和局部的精确分割；另外，本发明通过特征拼接将Transformer提取的全局分割特征信息和UNet网络提取的局部分割细节特征相融合，使得全局和局部的分割结果结合在一起，从而获得更加精确的分割结果。
附图说明
图1为实施例1所提供的一种基于DUNetR模型的冠状动脉分割方法流程图。
图2为实施例2所提供的DUNetR模型结构图。
图3为实施例2所提供的DUNetR模型数据流图。
图4为实施例2所提供的冠状动脉分割结果图。
图5为实施例2所提供的TransUNet网络结构图。
图6为实施例2所提供的MISSU网络结构图。
图7为实施例2所提供的UNETR网络结构图。
图8为实施例3所提供的一种基于DUNetR模型的冠状动脉分割系统结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本发明提供一种基于DUNetR模型的冠状动脉分割方法，包括以下步骤：
S1：获取三维的冠状动脉CTA图像数据集并进行预处理；
S2：建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
S3：获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
S4：利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
在具体实施过程中，首先获取三维的冠状动脉CTA图像数据集并进行预处理；建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割；
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割方法，使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法，相对于传统的冠状动脉分割方法而言，本方法在特征提取和分割精度方面取得了显著的改进；与其他深度学习方法相比，本方案能够更有效地提取融合全局信息和局部信息，从而实现了在CTA图像上准确的全自动分割模型，这种改进提高了预测的效率和精度，并为后续的临床诊断和治疗提供了有益的帮助。
实施例2
本实施例提供一种基于DUNetR模型的冠状动脉分割方法，包括以下步骤：
S1：获取三维的冠状动脉CTA图像数据集并进行预处理；
S2：建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
S3：获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
S4：利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割；
所述步骤S1中预处理的具体方法包括：尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种；
所述步骤S2中建立的DUNetR模型具体为：
如图2所示，所述DUNetR模型包括并行设置的Transformer网络和UNet网络；
所述DUNetR模型包括并行设置的Transformer网络和UNet网络；
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块；每个Transformer模块结构相同，均包括3个依次连接的Transformer层；
所述UNet网络包括输入层、编码器、解码器和输出层；
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块，以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块；
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块；
所述第一编码块的输出还与输出层的输入连接，第二编码块的输出还与第一叠加块的输入连接，第三编码块的输出还与第二叠加块的输入连接，第四编码块的输出还与第三叠加块的输入连接，第五编码块的输出还与第四叠加块的输入连接；
所述第一叠加块的输出与第一解码块的输入连接，第二叠加块的输出与第二解码块的输入连接，第三叠加块的输出与第三解码块的输入连接，第四叠加块的输出与第四解码块的输入连接；所述第一解码块的输出与输出层的输入连接，输出层的输出作为所述DUNetR模型的输出；
所述第一Transformer模块的输出还与第一叠加块的输入连接，第二Transformer模块的输出还与第二叠加块的输入连接，第三Transformer模块的输出还与第三叠加块的输入连接，第四Transformer模块的输出还与第四叠加块的输入连接；
所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice，具体为：
其中，P表示DUNetR模型的预测结果，R表示预处理后的冠状动脉CTA图像数据的真实标签；
所述步骤S2中，获取训练后的DUNetR模型的具体方法为：
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，并在每次训练后计算当损失函数Ldice，当损失函数Ldice的值大于预设阈值时，完成训练，获取训练后的DUNetR模型；
所述步骤S4中，利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果的具体方法为：
对初步分割结果中的冠状动脉标签进行形态学处理，具体为：
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀，通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域，完成平滑处理，获得最终的分割结果；
所述步骤S4之后还包括：将最终的分割结果映射至医学图像空间，将映射后的数据以nii格式进行存储。
在具体实施过程中，首先获取三维的冠状动脉CTA图像数据集并进行预处理；
本实施例在收集的400例冠状动脉CTA数据集中，采取五折交叉验证，将这400例数据集划分成五等分，取其中一等分(80例)作为测试数据，剩下4等分(320例)作为训练数据集，一共进行五轮，使得每份数据集都能作为测试集使用；
对所有训练数据集进行尺度变换、裁剪、旋转、仿射变换和归一化等图像技术处理，增强和扩充CTA数据集；
建立由Transformer网络和UNet网络并行结合的DUNetR模型，DUNetR模型的数据处理流程如图3所示，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型，图3中的Tf表示Transformer模块，C表示编码块，F表示叠加块，U表示解码块；
Transformer中的注意力机制能够对冠状动脉图像进行上下图像间的特征建模，实现长距离特征依赖的构建；UNet网络负责提取冠状动脉图像的局部特征信息，两者提取的特征相结合实现冠状动脉的全局信息和局部信息的融合，从而有效提高了分割精度；
Transformer和Unet双并行的网络结构有效实现了长距离依赖和局部信息结合、浅层特征和深层特征拼接和融合操作，以接受具有相同分辨率的特征，并有助于生成具有相同大小的标签，同时，通过深层特征的引入，增加了感受野，以生成高精度的分割标签；
在本实施例中，DUNetR模型设置有基于相似度Dice系数的损失函数Ldice，具体为：
其中，P表示DUNetR模型的预测结果，R表示预处理后的冠状动脉CTA图像数据的真实标签，预测图像越接近真实标签图像损失函数值越高，反之越低，当损失函数Ldice的值大于预设阈值时，即可完成训练，得到训练后的DUNetR模型；
获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
利用图像形态学算法对初步分割结果进行平滑处理，以进行对血管分割而导致的毛刺和小许断裂部分做平滑和补全处理；
为了捕捉冠状动脉的血管表面形状，采用了半径为R的球形结构进行膨胀操作，为了获取冠状动脉周围的局部信息并减少冗余，依据医学先验知识，在存在左右冠状动脉的前提下，通过连通域分析提取了其中最大的两个连通域，并以此平滑冠状动脉，使得最终分割结果更加平滑，减少断裂和割裂情况；
在形态学处理模块中，对冠状动脉标签进行形态学处理，根据其血管表面的形状采用半径为R的球形结构进行膨胀，以分割出来的冠状动脉为骨架主体进行平滑处理，将一些不连通的部分通过连通域连接起来，最后映射存储模块对分割和形态学处理过后的冠状动脉结果映射回原图像空间，将三维矩阵数据储存成医学图像格式，得到最终的分割结果，完成冠状动脉的分割，最终的分割结果预测标签如图4所示；
将最终的分割结果映射至医学图像空间，将映射后的数据以带有空间信息的nii格式进行存储；
五折交叉验证的结果对比如表1所示，可见基于Transformer和Unet双并行的DUNetR网络模型远远优于普通的UNet网络结构和Transformer与UNet非并行结合的网络模型，且在不同折数上Transformer与UNet并行结合的DUNetR网络都比相对于其他分割效果稳定，均方差最小；且本方法最终的平均dice系数为0.8376，达到了较高的分割水平；
表1五折下的Dice指标表
Name Fold_1(％) Fold_2(％) Fold_3(％) Fold_4(％) Fold_5(％) ACC(％)
MISSU 75.34±3.16 74.06±3.13 74.21±3.63 73.80±3.22 74.87±3.19 74.46±3.32
UNETR 73.81±3.25 73.62±2.93 73.67±2.71 73.89±2.47 74.37±2.46 73.87±2.78
DUNETR 77.12±2.53 76.96±2.80 77.26±2.63 76.20±3.04 77.26±2.69 76.96±2.76
本实施例基于CTA图像对分割模型的结构进行改进，构建了DUNetR网络框架，将3D冠状动脉分割定义为一维序列到序列的预测问题，左侧的Transformer编码器将图像转为1维序列利用注意力机制来学习上下文信息，提取到的信息在多尺度下与CNN编码器提取到的特征拼接连接后再与CNN的解码器合并，最后达到分割预测的结果；
该网络的Transformer作为编码器的输出是多尺度输出的，目前传统的Transformer和Unet结合的网络都是将Transformer作为编码器里的编码层直接进行输出，而非进行多尺度输出，如TransUNet、MISSU网络结构等，如图5、图6所示；
另外，尽管UNETR也是将Transformer进行多尺度输出，如图7所示，但DUNetR进行的是双并行多尺度输出，拥有两个分支的编码器，右边还存在CNN编码器，进行细节特征提取的补充，这也是DUNetR相比UNETR、MISSU等网络结构在3D冠状动脉分割上准确度更高和误差更小的原因，如实验数据表一所示；
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割方法，使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法，相对于传统的冠状动脉分割方法而言，本方法在特征提取和分割精度方面取得了显著的改进；与其他深度学习方法相比，本方案能够更有效地提取融合全局信息和局部信息，从而实现了在CTA图像上准确的全自动分割模型，这种改进提高了预测的效率和精度，并为后续的临床诊断和治疗提供了有益的帮助。
实施例3
如图8所示，本实施例提供一种基于DUNetR模型的冠状动脉分割系统，基于实施例1或2中所述的冠状动脉分割方法，包括：
数据预处理模块301：用于获取三维的冠状动脉CTA图像数据集并进行预处理；
模型建立和训练模块302：用于建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
初步分割模块303：用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
后处理模块304：用于利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
在具体实施过程中，首先数据预处理模块301获取三维的冠状动脉CTA图像数据集并进行预处理；模型建立和训练模块302建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；初步分割模块303获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；最后后处理模块304利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割；
本实施例提出了一种Transformer和UNet双网络并行结合的冠状动脉分割系统，使用注意力机制和全卷积神经网络在CTA上进行全局加局部的细致分割的方法，相对于传统的冠状动脉分割方案，本系统在特征提取和分割精度方面取得了显著的改进；另外，本系统能够更有效地提取融合全局信息和局部信息，从而实现了在CTA图像上准确的全自动分割模型，提高了预测的效率和精度。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于DUNetR模型的冠状动脉分割方法，其特征在于，包括以下步骤：
S1：获取三维的冠状动脉CTA图像数据并进行预处理；
S2：建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
S3：获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
S4：利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
2.根据权利要求1所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述步骤S1中预处理的具体方法包括：尺度变换、裁剪、旋转、仿射变换和归一化操作中的任意一种或多种。
3.根据权利要求2所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述步骤S2中建立的DUNetR模型具体为：
所述DUNetR模型包括并行设置的Transformer网络和UNet网络；
所述Transformer网络包括依次连接的第一Transformer模块、第二Transformer模块、第三Transformer模块和第四Transformer模块；每个Transformer模块结构相同，均包括3个依次连接的Transformer层；
所述UNet网络包括输入层、编码器、解码器和输出层；
所述编码器包括依次连接的第一编码块、第二编码块、第三编码块、第四编码块和第五编码块，以及并列设置的第一叠加块、第二叠加块、第三叠加块和第四叠加块；
所述解码器包括依次连接的第一解码块、第二解码块、第三解码块和第四解码块；
所述第一编码块的输出还与输出层的输入连接，第二编码块的输出还与第一叠加块的输入连接，第三编码块的输出还与第二叠加块的输入连接，第四编码块的输出还与第三叠加块的输入连接，第五编码块的输出还与第四叠加块的输入连接；
所述第一叠加块的输出与第一解码块的输入连接，第二叠加块的输出与第二解码块的输入连接，第三叠加块的输出与第三解码块的输入连接，第四叠加块的输出与第四解码块的输入连接；所述第一解码块的输出与输出层的输入连接，输出层的输出作为所述DUNetR模型的输出；
所述第一Transformer模块的输出还与第一叠加块的输入连接，第二Transformer模块的输出还与第二叠加块的输入连接，第三Transformer模块的输出还与第三叠加块的输入连接，第四Transformer模块的输出还与第四叠加块的输入连接。
4.根据权利要求3所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述DUNetR模型设置有基于相似度Dice系数的损失函数Ldice，具体为：
其中，P表示DUNetR模型的预测结果，R表示预处理后的冠状动脉CTA图像数据的真实标签。
5.根据权利要求4所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述步骤S2中，获取训练后的DUNetR模型的具体方法为：
将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，并在每次训练后计算当损失函数Ldice，当损失函数Ldice的值大于预设阈值时，完成训练，获取训练后的DUNetR模型。
6.根据权利要求5所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述步骤S4中，利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果的具体方法为：
对初步分割结果中的冠状动脉标签进行形态学处理，具体为：
根据冠状动脉血管表面的形状采用半径为R的球形结构对初步分割结果中的冠状动脉标签进行膨胀，通过连通域分析方法对膨胀后的冠状动脉标签提取其中的连通域，完成平滑处理，获得最终的分割结果。
7.根据权利要求1或6所述的一种基于DUNetR模型的冠状动脉分割方法，其特征在于，所述步骤S4之后还包括：将最终的分割结果映射至医学图像空间，将映射后的数据以nii格式进行存储。
8.一种基于DUNetR模型的冠状动脉分割系统，基于权利要求1～7任意一项中所述的冠状动脉分割方法，其特征在于，包括：
数据预处理模块：用于获取三维的冠状动脉CTA图像数据集并进行预处理；
模型建立和训练模块：用于建立由Transformer网络和UNet网络并行结合的DUNetR模型，将预处理后的冠状动脉CTA图像数据集输入DUNetR模型进行训练，获取训练后的DUNetR模型；
初步分割模块：用于获取待分割的冠状动脉CTA图像并输入训练后的DUNetR模型中进行分割，获取初步分割结果；
后处理模块：用于利用图像形态学算法对初步分割结果进行平滑处理，获得最终的分割结果，完成冠状动脉的分割。
9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7任意一项所述方法中的步骤。
10.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1～7任意一项所述方法中的步骤。
CN202311143680.8A 2023-09-05 2023-09-05 一种基于DUNetR模型的冠状动脉分割方法和系统 Pending CN117152173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311143680.8A CN117152173A (zh) 2023-09-05 2023-09-05 一种基于DUNetR模型的冠状动脉分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311143680.8A CN117152173A (zh) 2023-09-05 2023-09-05 一种基于DUNetR模型的冠状动脉分割方法和系统

Publications (1)

Publication Number Publication Date
CN117152173A true CN117152173A (zh) 2023-12-01

Family

ID=88907675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311143680.8A Pending CN117152173A (zh) 2023-09-05 2023-09-05 一种基于DUNetR模型的冠状动脉分割方法和系统

Country Status (1)

Country Link
CN (1) CN117152173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726633A (zh) * 2024-02-07 2024-03-19 安徽大学 基于特征融合的双分支冠状动脉图像的分割方法、系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726633A (zh) * 2024-02-07 2024-03-19 安徽大学 基于特征融合的双分支冠状动脉图像的分割方法、系统
CN117726633B (zh) * 2024-02-07 2024-04-19 安徽大学 基于特征融合的双分支冠状动脉图像的分割方法、系统

Similar Documents

Publication Publication Date Title
US20230104173A1 (en) Method and system for determining blood vessel information in an image
WO2020001217A1 (zh) 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN112258514B (zh) 一种ct影像肺血管的分割方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
Wang et al. Fully automatic intervertebral disc segmentation using multimodal 3D U-Net
US20210142470A1 (en) System and method for identification of pulmonary arteries and veins depicted on chest ct scans
CN117152173A (zh) 一种基于DUNetR模型的冠状动脉分割方法和系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Jin et al. Object recognition in medical images via anatomy-guided deep learning
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
Meng et al. Automatic extraction of coronary arteries using deep learning in invasive coronary angiograms
Wu et al. Continuous Refinement-based Digital Pathology Image Assistance Scheme in Medical Decision-Making Systems
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
CN115760754A (zh) 一种多模态mri图像听神经鞘瘤分割方法
Deng et al. BE-FNet: 3D bounding box estimation feature pyramid network for accurate and efficient maxillary sinus segmentation
CN114419061A (zh) 一种肺部动静脉血管分割方法及系统
CN113689480A (zh) 基于管状结构检测的三维us/mr配准融合方法及装置
CN114677383B (zh) 基于多任务学习的肺结节检测分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
Vi et al. Automatic Extraction of Liver Region from Medical Images by Using an MFUnet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination