CN112991365B - 一种冠状动脉分割方法、系统及存储介质 - Google Patents

一种冠状动脉分割方法、系统及存储介质 Download PDF

Info

Publication number
CN112991365B
CN112991365B CN202110509998.8A CN202110509998A CN112991365B CN 112991365 B CN112991365 B CN 112991365B CN 202110509998 A CN202110509998 A CN 202110509998A CN 112991365 B CN112991365 B CN 112991365B
Authority
CN
China
Prior art keywords
segmentation
coronary artery
label
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110509998.8A
Other languages
English (en)
Other versions
CN112991365A (zh
Inventor
曾安
吴春彪
潘丹
徐小维
刘淇乐
陈宇琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110509998.8A priority Critical patent/CN112991365B/zh
Publication of CN112991365A publication Critical patent/CN112991365A/zh
Application granted granted Critical
Publication of CN112991365B publication Critical patent/CN112991365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明提供了一种冠状动脉分割方法，包括：获取待分割冠状动脉原图像并进行放缩处理；使用3D U‑net对放缩处理后的图像进行粗分割，得到粗分割结果；使用3D U‑net对放缩处理后的图像进行先验区域提取并进行形态学处理，获取体素块；使用3D U‑net++对体素块进行分割，得到体素块分割结果；将粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果。本发明还提供一种冠状动脉分割系统及存储介质，实现了更好的特征提取以及高效的分割，有效地结合全局信息和局部信息，实现了模型在CTA图像上的准确的全自动分割模型，提高了预测的效率和精度。

Description

一种冠状动脉分割方法、系统及存储介质
技术领域
本发明涉及CT血管成像（CT angiography，CTA）分割技术领域，特别是涉及一种冠状动脉分割方法、系统及存储介质。
背景技术
目前冠状动脉3D CTA图像的分割有传统方法以及深度学习方法。其中传统方法有基于图像切割法以及基于水平集的方法，主要是通过人工设置种子点或者标定冠状动脉区域进行分割，多数属于半自动的方法。而基于深度学习的分割方法则基于2D切片分割或基于3D体素图像分割，由于使用二维图像进行分割会使其丧失三维空间信息，产生冠状动脉的分割图像损失三维连续性。但如果直接使用三维卷积神经网络直接对图像直接分割，则会消耗大量的计算资源，增加计算复杂性。因此，现有技术所述的冠状动脉分割中的缺少空间连续性、需人工干预、分割精度不高、计算消耗资源过高的问题不能同时兼顾的技术缺陷。
专利文献CN105279759A（公布日2016年1月27日）公开了一种结合上下信息窄带约束的腹腔主动脉瘤外轮廓分割方法。该方法包括如下步骤：改进LBF水平集方法用于的外轮廓初步分割，利用LBF在低对比度图像目标分割中的优势，结合窄带约束，获得初步外轮廓，最后提出基于上下文窄带约束的分割方法实现外轮廓精细分割。该方法虽然利用CTA图像序列的空间连续性，将精确分割结果用于相邻切层初步分割时水平集初始化，但其并未实现全自动分割，需要手动标记大致位置作为初始轮廓，并且人为设置参数去提取特征，相比于神经网络自动提取征该方法在调整参数上更加复杂。
专利文献CN106296660A（公布日2017年1月4日）公开了一种全自动冠状动脉分割方法。该方法包括，分割出包括冠状动脉在内的心脏区域；通过对分割出的心脏区域进行血管增强处理，使冠状动脉图像得到明显增强程；通过对血管增强处理后的图像进行种子体素自动检测，检测出种子体素集，解决了传统的区域分割法需要人工干预的问题，最后通过一致性判断分割出冠状动脉。然而该方法需要通过对心脏配准、血管增强处理以及检测种子点等，相比于深度学习分割冠状动脉此方法需要调整较多的参数，在特征提取以及特征交互方面也不如本文的深度学习方法。而且在原图像中，部分冠状动脉中的体素值因为CT中成像问题而与领域的体素值相差较小致使边缘模糊，该方法基于海森矩阵和邻域分割冠状动脉可能会有较大的影响。
专利文献CN109919961A（公布日2019年6月21日）公开了一种自动检测与分割颅内CTA图像中动脉瘤区域的方法及装置。所述装置包括，接收模块，用于接收待处理的颅内CTA图像；分割模块，用动脉瘤分割网络在CTA图像中采样的三维图像块执行动脉瘤分割；重采样模块，用于通过分割模块分割出的动脉瘤区域进行合并，并基于连通域重采样三维图像块；以及检测模块，用动脉瘤分类网络对所述重采样的三维图像块进行分类，判定是否存在动脉瘤。该方法主要通过检测CTA图像中的动脉瘤区域，同样的在patch级别上分割动脉瘤，然而在心脏附近的区域，除了冠状动脉还存在着毛细血管等相似区域的干扰，容易影响分割的准确度。
发明内容
本发明的目的是解决现有的冠状动脉分割方法存在未实现全自动分割且分割准确度不高的技术缺陷，提供一种冠状动脉分割方法、系统及存储介质。
为解决上述技术问题，本发明的技术方案如下：
一种冠状动脉分割方法，包括以下步骤：
S1：获取待分割冠状动脉原图像，并对原图像进行放缩处理；
S2：使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并映射回原图像空间，得到粗分割结果；
S3：使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并映射回原图像空间；
S4：对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
S5：使用3D U-net++对体素块进行分割，得到体素块分割结果；
S6：将粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果。
上述方案中，提出一种全卷积神经网络再3D CTA图像上进行全局的粗糙分割和局部的细分割的集成学习，通过建立阶段的由粗到细的分割模型对冠状动脉进行分割，将全局信息与局部信息进行了有效的结合，有效地提高了分割精度，建立了CTA图像上准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
其中，在所述步骤S2中，所述粗分割使用一般的相似度系数作为损失函数
Figure 771709DEST_PATH_IMAGE001
，具体表示为：
Figure 999428DEST_PATH_IMAGE002
其中，
Figure 565539DEST_PATH_IMAGE003
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
上述方案中，U-net属于全卷积层架构的网络（FCN），即可以端对端地分割图像，得到与原始图像等同大小的标签图像。U-net在进行医学图像分割上有着十分好的效果，以为该网络架构有效地实现了浅层特征以及深层特征的拼接以及融合操作，接受了同等分辨率下的特征有助于生成同等大小的标签，同时也通过深层的特征来增加感受野来生成标签。
其中，在所述步骤S3中，通过3D U-net进行先验区域提取的网络采用带权重的相似度系数作为损失函数
Figure 70470DEST_PATH_IMAGE004
，具体表示为：
Figure 775252DEST_PATH_IMAGE005
其中，
Figure 490267DEST_PATH_IMAGE006
分别属于预测概率以及真实的图像标签，权重系数
Figure 594489DEST_PATH_IMAGE007
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
上述方案中，先验区域的提取采用不同损失函数而区别于粗分割的标签。先验区域得到的与粗分割的标签相似也是二值化的标签图像，不过对于粗分割的标签，先验区域这个标签比粗分割的标签要多。先验区域的提取目的是包含冠状动脉的标签，这样先验区域会尽可能覆盖原来的标签图像，增强预测标签的连通性。
其中，在所述步骤S4中，所述形态学处理过程具体为：
根据冠状动脉标签得到原图像空间冠状动脉的位置，根据其血管表面的形状采用半径为R的球形结构进行膨胀；为了获得冠状动脉周围的局部信息并减少冗余，根据医学先验知识，在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
上述方案中，在体素块获取阶段，从上一阶段得到原始空间冠状动脉的位置，通过插值上采样将其放回到原分辨率空间得到，并使用形态学操作中的膨胀的变换将其扩大。在这里根据血管表面的形状采用了半径为R的球形结构来膨胀，这样可以尽减少生成中动脉之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余，根据医学先验知识冠状动脉，在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域然后对其提取骨架点，以骨架点为中心来获取正方体体素块。每当获取一个正方体体素块，即将体素块中的所有骨架点从中去除，通过遍历中心点提取体素块。通过不断地选择骨架点作为中心点来获得体素块，直至将中心点从骨架的图像上完全去除，最后得到完全覆盖骨架点的体素块集合。
其中，在所述步骤S6中，假设粗分割结果与体素块分割结果组成相同大小的具有
Figure 219505DEST_PATH_IMAGE008
张图像，第
Figure 95188DEST_PATH_IMAGE009
张图像表示为
Figure 297500DEST_PATH_IMAGE010
其中，
Figure 470992DEST_PATH_IMAGE011
中有个像素点，
Figure 684936DEST_PATH_IMAGE012
表示第i个像素点，其中，
Figure 997100DEST_PATH_IMAGE013
设定阈值
Figure 421128DEST_PATH_IMAGE014
，有
Figure 867152DEST_PATH_IMAGE015
；如果
Figure 466761DEST_PATH_IMAGE016
时，则这个像素点上的位置为背景标签0；
通过该计算准则计算
Figure 698895DEST_PATH_IMAGE008
张图像中第i个像素点的正标签的个数并结合阈值
Figure 610220DEST_PATH_IMAGE014
，得到最后的集成图像，即得到最后的分割结果。
上述方案中，本方案所述方法主要使用全卷积神经网络在CTA上进行全局的粗糙分割和局部的细致分割的集成学习，相比于传统的冠状动脉分割方法实现了更好的特征提取以及高效的分割，而对于其他深度学习方法本方法更能有效地结合全局信息和局部信息，实现了模型在CTA图像上的准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
本方案还提供一种冠状动脉分割系统，包括放缩模块、粗分割模块、先验提取模块、映射模块、形态学处理模块、体素块分割模块和投票集成模块；其中：
所述放缩模块用于对待分割冠状动脉原图进行放缩处理；
所述粗分割模块使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并由映射模块映射回原图像空间，得到粗分割结果；
所述先验提取模块使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并由映射模块映射回原图像空间；
所述形态学处理模块用于对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
所述体素块分割模块用于使用3D U-net++对体素块进行分割，得到体素块分割结果；
所述投票集成模块用于对粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果。
其中，在所述粗分割模块中，所述3D U-net结构呈U型，先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个3D Conv+BN+ReLu加上Upsampling层，和由浅层到深层特征的拼接层；其使用一般的相似度系数作为损失函数
Figure 328777DEST_PATH_IMAGE001
，具体表示为：
Figure 392679DEST_PATH_IMAGE002
其中，
Figure 171279DEST_PATH_IMAGE003
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
其中，在所述先验提取模块，通过采用带权重的相似度系数作为损失函数
Figure 242003DEST_PATH_IMAGE004
的3D U-net进行先验区域提取，其损失函数具体表示为：
Figure 623306DEST_PATH_IMAGE005
其中，
Figure 807294DEST_PATH_IMAGE006
分别属于预测概率以及真实的图像标签，权重系数
Figure 287954DEST_PATH_IMAGE007
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
其中，在所述形态学处理模块中，先根据冠状动脉标签得到原图像空间冠状动脉的位置，再根据其血管表面的形状采用半径为R的球形结构进行膨胀；在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
一种冠状动脉分割存储介质，所述存储介质中存储有计算机程序；所述计算机程序由处理器加载并执行冠状动脉分割系统，以实现冠状动脉分割方法。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出了一种冠状动脉分割方法、系统及存储介质，使用全卷积神经网络在CTA上进行全局的粗糙分割和局部的细致分割的集成学习，相比于传统的冠状动脉分割方法实现了更好的特征提取以及高效的分割，而相对于其他深度学习方法，本方案更能有效地结合全局信息和局部信息，实现了模型在CTA图像上的准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
附图说明
图1为本发明所述方法流程示意图；
图2为本发明所述系统模块连接示意图；
图3为一实施例中实施的主要流程图；
图4为一实施例中粗分割的具体流程图；
图5为一实施例中3D U-net网络结构示意图；
图6为一实施例中区域提取及体素块集合的获取流程示意图；
图7为一实施例中3D U-net++结构示意图；
图8为一实施例中粗分割以及体素块分割结果进行投票集成的具体流程图；
图9为一实施例中预测标签图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种冠状动脉分割方法，包括以下步骤：
S1：获取待分割冠状动脉原图像，并对原图像进行放缩处理；
S2：使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并映射回原图像空间，得到粗分割结果；
S3：使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并映射回原图像空间；
S4：对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
S5：使用3D U-net++对体素块进行分割，得到体素块分割结果；
S6：将粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果。
在具体实施过程中，本方案提出一种全卷积神经网络再3D CTA图像上进行全局的粗糙分割和局部的细分割的集成学习，通过建立阶段的由粗到细的分割模型对冠状动脉进行分割，将全局信息与局部信息进行了有效的结合，有效地提高了分割精度，建立了CTA图像上准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
更具体的，在所述步骤S2中，所述粗分割使用一般的相似度系数作为损失函数
Figure 783657DEST_PATH_IMAGE001
，具体表示为：
Figure 968651DEST_PATH_IMAGE002
其中，
Figure 7145DEST_PATH_IMAGE003
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
在具体实施过程中，U-net属于全卷积层架构的网络（FCN），即可以端对端地分割图像，得到与原始图像等同大小的标签图像。U-net在进行医学图像分割上有着十分好的效果，以为该网络架构有效地实现了浅层特征以及深层特征的拼接以及融合操作，接受了同等分辨率下的特征有助于生成同等大小的标签，同时也通过深层的特征来增加感受野来生成标签。
更具体的，在所述步骤S3中，通过3D U-net进行先验区域提取的网络采用带权重的相似度系数作为损失函数
Figure 658706DEST_PATH_IMAGE004
，具体表示为：
Figure 907285DEST_PATH_IMAGE005
其中，
Figure 895970DEST_PATH_IMAGE006
分别属于预测概率以及真实的图像标签，权重系数
Figure 520461DEST_PATH_IMAGE007
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
在具体实施过程中，先验区域的提取采用不同损失函数而区别于粗分割的标签。先验区域得到的与粗分割的标签相似也是二值化的标签图像，不过对于粗分割的标签，先验区域这个标签比粗分割的标签要多。先验区域的提取目的是包含冠状动脉的标签，这样先验区域会尽可能覆盖原来的标签图像，增强预测标签的连通性。
更具体的，在所述步骤S4中，所述形态学处理过程具体为：
根据冠状动脉标签得到原图像空间冠状动脉的位置，根据其血管表面的形状采用半径为R的球形结构进行膨胀；为了获得冠状动脉周围的局部信息并减少冗余，根据医学先验知识，在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
在具体实施过程中，在体素块获取阶段，从上一阶段得到原始空间冠状动脉的位置，通过插值上采样将其放回到原分辨率空间得到，并使用形态学操作中的膨胀的变换将其扩大。在这里根据血管表面的形状采用了半径为R的球形结构来膨胀，这样可以尽减少生成中动脉之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余，根据医学先验知识冠状动脉，在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域然后对其提取骨架点，以骨架点为中心来获取正方体体素块。每当获取一个正方体体素块，即将体素块中的所有骨架点从中去除，通过遍历中心点提取体素块。通过不断地选择骨架点作为中心点来获得体素块，直至将中心点从骨架的图像上完全去除，最后得到完全覆盖骨架点的体素块集合。
更具体的，在所述步骤S6中，假设粗分割结果与体素块分割结果组成相同大小的具有
Figure 608503DEST_PATH_IMAGE008
张图像，第
Figure 344378DEST_PATH_IMAGE017
张图像表示为
Figure 605595DEST_PATH_IMAGE018
其中，
Figure 743315DEST_PATH_IMAGE019
中有
Figure 80887DEST_PATH_IMAGE020
个像素点，
Figure 897533DEST_PATH_IMAGE021
表示第i个像素点，其中，
Figure 368966DEST_PATH_IMAGE022
；
设定阈值
Figure 970980DEST_PATH_IMAGE014
，有
Figure 135245DEST_PATH_IMAGE023
；如果
Figure 970346DEST_PATH_IMAGE024
时，则这个像素点上的位置为背景标签0；
通过该计算准则计算
Figure 511048DEST_PATH_IMAGE008
张图像中第i个像素点的正标签的个数并结合阈值
Figure 92202DEST_PATH_IMAGE014
，得到最后的集成图像，即得到最后的分割结果。
在具体实施过程中，本方案所述方法主要使用全卷积神经网络在CTA上进行全局的粗糙分割和局部的细致分割的集成学习，相比于传统的冠状动脉分割方法实现了更好的特征提取以及高效的分割，而对于其他深度学习方法本方法更能有效地结合全局信息和局部信息，实现了模型在CTA图像上的准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
实施例2
更具体的，在实施例1的基础上，如图2所示，本方案还提供一种冠状动脉分割系统，包括放缩模块、粗分割模块、先验提取模块、映射模块、形态学处理模块、体素块分割模块和投票集成模块；其中：
所述放缩模块用于对待分割冠状动脉原图进行放缩处理；
所述粗分割模块使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并由映射模块映射回原图像空间，得到粗分割结果；
所述先验提取模块使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并由映射模块映射回原图像空间；
所述形态学处理模块用于对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
所述体素块分割模块用于使用3D U-net++对体素块进行分割，得到体素块分割结果；
所述投票集成模块用于对粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果。
在具体实施过程中，相较于传统的分割模型，本系统的主要的特点在于：
（1）由于GPU等硬件平台的限制，此处通过线性插值方法对原始图像大小进行缩小，从而使得分割具有更高的效率；
（2）提出一种全新的、结合全局分割和局部分割集成全自动的冠状动脉分割模型，具有更高的分割精确度和效率；
（3）通过调整损失函数的参数，并对最终分割结果使用加权投票的方式，将全局分割和局部分割的分割结果结合在一起，从而得到更加精确的分割结果。在本发明中，实现了一种高效的冠状动脉全自动分割方法，与传统方法相比，提高了分割效率，减轻了医生手动分割的负担，为后续的临床诊断和治疗提供了帮助。
更具体的，在所述粗分割模块中，所述3D U-net结构呈U型，先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个3D Conv+BN+ReLu加上Upsampling层，和由浅层到深层特征的拼接层；其使用一般的相似度系数作为损失函数
Figure 692948DEST_PATH_IMAGE025
，具体表示为：
Figure 500498DEST_PATH_IMAGE026
其中，
Figure 844892DEST_PATH_IMAGE027
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
更具体的，在所述先验提取模块，通过采用带权重的相似度系数作为损失函数
Figure 670765DEST_PATH_IMAGE028
的3D U-net进行先验区域提取，其损失函数具体表示为：
Figure 176833DEST_PATH_IMAGE029
其中，
Figure 861892DEST_PATH_IMAGE030
分别属于预测概率以及真实的图像标签，权重系数
Figure 744398DEST_PATH_IMAGE031
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
更具体的，在所述形态学处理模块中，先根据冠状动脉标签得到原图像空间冠状动脉的位置，再根据其血管表面的形状采用半径为R的球形结构进行膨胀；在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
另外，本发明还提供一种冠状动脉分割存储介质，所述存储介质中存储有计算机程序；所述计算机程序由处理器加载并执行冠状动脉分割系统，以实现冠状动脉分割方法。
实施例3
更具体的，为了进一步说明本方法的技术实施过程及对应的技术效果，提供了图3所示的一种实施例，主要包括：（1）使用3D U-net在低分辨率下对原图像进行粗分割在映射回原图像空间；（2）在低分辨率下提取冠状动脉图像的先验，经过形态学处理得到体素块的先验区域；（3）使用3D U-net++对体素块分割；（4）得到粗分割与体素块分割的集成结果。
在具体实施过程中，如图4所示。图4为图3中先验提取以及粗分割的具体流程图。在原分辨率空间下进行冠状动脉分割，因为图像过大，使用网络直接进行分割或者区域提取会占用大量的显存导致无法进行计算，在低分辨率上进行分割可以使占用的显存大幅减小。在地分辨下分割后进行映射是需要在原图得到冠状动脉标签，因为在映射插值的过程使用插值算法，在插值过程中并不会关注原图像的信息而导致其原图标签粗糙不平滑，而且从全局上分割导致局部的信息不够细腻，故将其称为粗分割。因此，在此处首先将3D CTA图像从
Figure 178440DEST_PATH_IMAGE032
统一插值下采样至
Figure 855409DEST_PATH_IMAGE033
，分别使用3D U-net完成粗分割的任务。在粗分割中使用了一般的相似度系数作为损失函数：
Figure 621239DEST_PATH_IMAGE034
其中
Figure 307436DEST_PATH_IMAGE035
分别属于预测概率以及真实的标签，其中网络的输入为低分辨率下图像
Figure 983268DEST_PATH_IMAGE036
，输出为低分辨率下标签
Figure 96717DEST_PATH_IMAGE037
。
更具体的，如图5所示。图5为3D U-net的网络结构，U-net属于全卷积层架构的网络（FCN），即可以端对端地分割图像，得到与原始图像等同大小的标签图像。U-net在进行医学图像分割上有着十分好的效果，以为该网络架构有效地实现了浅层特征以及深层特征的拼接以及融合操作，接受了同等分辨率下的特征有助于生成同等大小的标签，同时也通过深层的特征来增加感受野来生成标签。该网络的结构如图5所示，大体的结果呈U型，由以下几个模块的组成构成，首先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个3DConv+BN+ReLu加上Upsampling层，和由浅层到深层特征的拼接层。在本申请中，由图4所示，输入的为低分辨率下的CT图像，输出为低分辨率下的预测标签。
更具体的，如图6所示，显示了区域提取及体素块集合的获取流程。先验区域由于采用不同损失函数而区别于粗分割的标签。先验区域得到的与粗分割的标签相似也是二值化的标签图像，不过对于粗分割的标签，先验区域这个标签比粗分割的标签要多。先验区域的提取目的是包含冠状动脉的标签，这样先验区域会尽可能覆盖原来的标签图像，增强预测标签的连通性，同时通过上采样映射回原空间再通过大小为R球体膨胀、连通域分析以及骨架提取等操作得到了比正常中心线较长的中心线。根据这条中心线的点为中心提取不同尺度下的正方体体素块（3D patch），在本方案中考虑到了计算问题，以及冠状动脉的半径大小采用了边长为16，32，64的体素块。
在这一部分通过3D U-net对冠状动脉在先验区域提取的网络中采用了带权重的相似度系数作为损失函数：
Figure 100576DEST_PATH_IMAGE038
其中
Figure 324884DEST_PATH_IMAGE039
分别属于预测概率以及真实的标签，权重系数
Figure 806288DEST_PATH_IMAGE040
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成。在这里为了得到包裹冠状动脉的mask，将
Figure 599626DEST_PATH_IMAGE041
设置为0.01，偏向于冠状动脉标签的生成。其中两个网络的输入为低分辨率下图像
Figure 90782DEST_PATH_IMAGE042
，输出为低分辨率下标签
Figure 322043DEST_PATH_IMAGE043
。
更具体的，在体素块获取阶段，从上一阶段得到原始空间冠状动脉的位置，通过插值上采样将其放回到原分辨率空间得到，并使用形态学操作中的膨胀的变换将其扩大。在这里根据血管表面的形状采用了半径为R的球形结构来膨胀，这样可以尽减少生成中动脉之间的不连通的区域。为了获得冠状动脉周围的局部信息并且减少冗余，根据医学先验知识，在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取中最大的两个连通域然后对其提取骨架，以骨架点为中心来获取正方体体素块。每当获取一个正方体体素块，即将体素块中的所有骨架点从中去除，通过遍历中心点提取体素块。通过不断地选择骨架点作为中心点来获得体素块，直至将中心点从骨架的图像上完全去除，最后得到完全覆盖骨架点的体素块集合。
更具体的，如图7所示，图7为图3中主要流程中的第三步的具体流程以及3D U-net++的网络结构。U-net++的网络结构类似U-net，都是由一个编码器以及解码器构成的，其解码器通过重新设计跳接以相同的分辨率密集连接，而且具有多个解码器的。在这里，因为需要构建3D patch的分割模型，所以对原始的U-net++进行3D化，与U-net模块基本一样，具体的组成由上采样，下采样，跳接操作以及卷积模块组成，其中卷积模块包含了2×3DConvolution-BatchNormalize-Relu的模块。在本申请中将得到的不同尺度的patch集合分别送入到3D U-net++中，通过训练3D U-net++来获取每一个patch上的分割标签，再根据映射关系得到最后的结果。训练的损失函数与步骤A的一样也是相似度系数损失函数。
更具体的，图8为将粗分割以及体素块分割结果进行投票集成的具体流程。图8中a、b、c为使用3D U-net++分割不同大小体素块的结果，d为来自粗分割的结果，通过投票集成得到了最后的分割结果。对于图像集成分割与投票集成分类类似，假设有分割结果为相同大小的
Figure 97101DEST_PATH_IMAGE044
张图像，第k张图像
Figure 552353DEST_PATH_IMAGE045
，
Figure 527875DEST_PATH_IMAGE046
，其中
Figure 562827DEST_PATH_IMAGE047
中有
Figure 598916DEST_PATH_IMAGE048
个像素点，
Figure 552965DEST_PATH_IMAGE049
表示第i个像素点。设定阈值
Figure 674505DEST_PATH_IMAGE050
,
Figure 513148DEST_PATH_IMAGE051
，如果
Figure 747951DEST_PATH_IMAGE052
，则在这个像素点上的位置为正标签1。如果
Figure 545006DEST_PATH_IMAGE053
，则在这个像素点上的位置为背景标签0。通过该计算准则计算
Figure 481738DEST_PATH_IMAGE044
张图像中的每一个i得到最后的集成图像。
更具体的，通过投票集成得到最后的分割结果预测标签如图9所示。
在具体实施过程中，本发明在收集的200例CCTA数据集中（160例训练，40例测试）的dice系数为0.8234，达到了较高的分割水平。如表1所示，基于区域提取的体素块分割要远远优于直接全局的粗分割，而在不同尺度上的体素块分割集成又相对于其他的体素块分割又有一定的提升。
表1 Dice指标表
Figure 858493DEST_PATH_IMAGE054
在具体实施过程中，本方案一种基于全连接卷积全局粗分割和局部细分割的冠状动脉集成分割方法，该方法主要使用全卷积神经网络在CTA上进行全局的粗糙分割和局部的细致分割的集成学习，相比于传统的冠状动脉分割方法实现了更好的特征提取以及高效的分割，而对于其他深度学习方法本方法更能有效地结合全局信息和局部信息，实现了模型在CTA图像上的准确的全自动分割模型，提高了预测的效率和精度，为后续的临床诊断和治疗提供了帮助。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种冠状动脉分割方法，其特征在于，包括以下步骤：
S1：获取待分割冠状动脉原图像，并对原图像进行放缩处理；
S2：使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并映射回原图像空间，得到粗分割结果；
S3：使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并映射回原图像空间；
S4：对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
S5：使用3D U-net++对体素块进行分割，得到体素块分割结果；
S6：将粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果；
其中，在所述步骤S4中，所述形态学处理过程具体为：
根据冠状动脉标签得到原图像空间冠状动脉的位置，根据其血管表面的形状采用半径为R的球形结构进行膨胀；为了获得冠状动脉周围的局部信息并减少冗余，根据医学先验知识，在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
2.根据权利要求1所述的一种冠状动脉分割方法，其特征在于，在所述步骤S2中，所述粗分割使用一般的相似度系数作为损失函数
Figure DEST_PATH_IMAGE001
，具体表示为：
Figure 113879DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
3.根据权利要求1所述的一种冠状动脉分割方法，其特征在于，在所述步骤S3中，通过3D U-net进行先验区域提取的网络采用带权重的相似度系数作为损失函数
Figure 661535DEST_PATH_IMAGE004
，具体表示为：
Figure DEST_PATH_IMAGE005
其中，
Figure 487408DEST_PATH_IMAGE006
分别属于预测概率以及真实的图像标签，权重系数
Figure DEST_PATH_IMAGE007
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
4.根据权利要求1所述的一种冠状动脉分割方法，其特征在于，在所述步骤S6中，假设粗分割结果与体素块分割结果组成相同大小的具有
Figure 603263DEST_PATH_IMAGE008
张图像，第
Figure DEST_PATH_IMAGE009
张图像表示为
Figure 757164DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
；其中，
Figure 967565DEST_PATH_IMAGE012
中有
Figure DEST_PATH_IMAGE013
个像素点，
Figure 162792DEST_PATH_IMAGE014
表示第i个像素点，其中，
Figure DEST_PATH_IMAGE015
，
Figure 308602DEST_PATH_IMAGE016
；
设定阈值
Figure DEST_PATH_IMAGE017
，有
Figure 340012DEST_PATH_IMAGE018
；如果
Figure DEST_PATH_IMAGE019
时，则这个像素点上的位置为正标签1；若
Figure 839258DEST_PATH_IMAGE020
，则这个像素点上的位置为背景标签0；
通过该计算准则计算
Figure DEST_PATH_IMAGE021
张图像中第i个像素点的正标签的个数并结合阈值
Figure 780669DEST_PATH_IMAGE022
，得到最后的集成图像，即得到最后的分割结果。
5.一种冠状动脉分割系统，其特征在于，包括放缩模块、粗分割模块、先验提取模块、映射模块、形态学处理模块、体素块分割模块和投票集成模块；其中：
所述放缩模块用于对待分割冠状动脉原图进行放缩处理；
所述粗分割模块使用3D U-net对放缩处理后的图像进行粗分割，获取低分辨率下的预测标签并由映射模块映射回原图像空间，得到粗分割结果；
所述先验提取模块使用3D U-net对放缩处理后的图像进行先验区域提取，获取冠状动脉标签并由映射模块映射回原图像空间；
所述形态学处理模块用于对冠状动脉标签进行形态学处理，抽取出骨架点并以骨架点为中心获取体素块；
所述体素块分割模块用于使用3D U-net++对体素块进行分割，得到体素块分割结果；
所述投票集成模块用于对粗分割结果与体素块分割结果进行投票集成，获取最后的分割结果；
其中，在所述形态学处理模块中，先根据冠状动脉标签得到原图像空间冠状动脉的位置，再根据其血管表面的形状采用半径为R的球形结构进行膨胀；在冠状动脉存在左和右冠状动脉的基础上，通过连通域分析提取其中最大的两个连通域并对其抽取出骨架点并以骨架点为中心获取体素块。
6.根据权利要求5所述的一种冠状动脉分割系统，其特征在于，在所述粗分割模块中，所述3D U-net结构呈U型，先是两个3D Conv+BN+ReLu加上3D Maxpooling的组合以及两个3D Conv+BN+ReLu加上Upsampling层，和由浅层到深层特征的拼接层；其使用一般的相似度系数作为损失函数
Figure DEST_PATH_IMAGE023
，具体表示为：
Figure 222015DEST_PATH_IMAGE024
其中，
Figure 616087DEST_PATH_IMAGE025
分别属于预测概率以及真实的图像标签，其中网络的输入为低分辨率下图像，输出为低分辨率下预测标签。
7.根据权利要求5所述的一种冠状动脉分割系统，其特征在于，在所述先验提取模块，通过采用带权重的相似度系数作为损失函数
Figure 840395DEST_PATH_IMAGE026
的3D U-net进行先验区域提取，其损失函数具体表示为：
Figure 901892DEST_PATH_IMAGE027
其中，
Figure 91303DEST_PATH_IMAGE028
分别属于预测概率以及真实的图像标签，权重系数
Figure 972671DEST_PATH_IMAGE029
，从损失函数得知该权重系数调整了目标与背景的生成，权重系数小于0.5会偏重于冠状动脉的生成；该网络的输入为低分辨率下图像，输出为冠状动脉标签。
8.一种冠状动脉分割存储介质，其特征在于，所述存储介质中存储有计算机程序；所述计算机程序由处理器加载并执行如权利要求5~7任一项所述的一种冠状动脉分割系统，以实现如权利要求1~4任一项所述的一种冠状动脉分割方法。
CN202110509998.8A 2021-05-11 2021-05-11 一种冠状动脉分割方法、系统及存储介质 Active CN112991365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110509998.8A CN112991365B (zh) 2021-05-11 2021-05-11 一种冠状动脉分割方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110509998.8A CN112991365B (zh) 2021-05-11 2021-05-11 一种冠状动脉分割方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112991365A CN112991365A (zh) 2021-06-18
CN112991365B true CN112991365B (zh) 2021-07-20

Family

ID=76337528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110509998.8A Active CN112991365B (zh) 2021-05-11 2021-05-11 一种冠状动脉分割方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112991365B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763330B (zh) * 2021-08-17 2022-06-10 北京医准智能科技有限公司 一种血管分割方法、装置、存储介质及电子设备
CN114445445B (zh) * 2022-04-08 2022-07-01 广东欧谱曼迪科技有限公司 Ct图像的动脉分割方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111739034A (zh) * 2020-06-28 2020-10-02 北京小白世纪网络科技有限公司 基于改进的3D Unet的冠状动脉区域分割系统及方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126232B2 (en) * 2008-03-05 2012-02-28 Siemens Aktiengesellschaft System and method for 3D vessel segmentation with minimal cuts
EP3719744B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111739034A (zh) * 2020-06-28 2020-10-02 北京小白世纪网络科技有限公司 基于改进的3D Unet的冠状动脉区域分割系统及方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈灵宇.心血管造影图像中冠状动脉的分割与测量方法研究.《中国优秀硕士学位论文全文数据库 医药卫生科技辑》.2021,(第2期),E062-143. *

Also Published As

Publication number Publication date
CN112991365A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US8761475B2 (en) System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
CN105912874B (zh) 基于dicom医学图像构建的肝脏三维数据库系统
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
Ye et al. Automatic graph cut segmentation of lesions in CT using mean shift superpixels
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN111275712B (zh) 一种面向大尺度图像数据的残差语义网络训练方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN112529909A (zh) 一种基于图像补全的肿瘤图像脑区分割方法及系统
Fan et al. Lung nodule detection based on 3D convolutional neural networks
CN112102275B (zh) 肺主动脉血管图像提取方法、装置、存储介质及电子设备
CN113808146A (zh) 一种医学图像多器官分割方法及系统
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN113936011A (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN115564782A (zh) 3d血管及气管分割方法及系统
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN114494289A (zh) 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
CN117152173A (zh) 一种基于DUNetR模型的冠状动脉分割方法和系统
CN113052849A (zh) 腹部组织图像自动分割方法及系统
CN115205298B (zh) 肝部区域血管分割的方法及设备
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN114677383B (zh) 基于多任务学习的肺结节检测分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant