CN115409859A - 冠状动脉血管图像分割方法及装置、存储介质和终端 - Google Patents
冠状动脉血管图像分割方法及装置、存储介质和终端 Download PDFInfo
- Publication number
- CN115409859A CN115409859A CN202211056412.8A CN202211056412A CN115409859A CN 115409859 A CN115409859 A CN 115409859A CN 202211056412 A CN202211056412 A CN 202211056412A CN 115409859 A CN115409859 A CN 115409859A
- Authority
- CN
- China
- Prior art keywords
- coronary artery
- blood vessel
- coronary
- mask
- artery blood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003709 image segmentation Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 238000010586 diagram Methods 0.000 claims abstract description 46
- 210000004204 blood vessel Anatomy 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 22
- 210000005246 left atrium Anatomy 0.000 claims description 12
- 210000000709 aorta Anatomy 0.000 claims description 11
- 210000005240 left ventricle Anatomy 0.000 claims description 11
- 210000005245 right atrium Anatomy 0.000 claims description 11
- 210000005241 right ventricle Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 208000029078 coronary artery disease Diseases 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000010968 computed tomography angiography Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007505 plaque formation Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种冠状动脉血管图像分割方法及装置、存储介质和终端，其中方法包括获取冠状动脉血管图像；获取心脏子器官掩膜组、冠脉血管粗分割结果以及裁剪后的冠脉血管原始图像结果；而后获取冠脉血管点集和心脏子器官点集组；获取每个心脏子器官点集所对应的距离场特征图，再将所有所述距离场特征图进行串联，以获取五通道距离场特征图；获取冠脉血管合并图；将冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于立方体连通性图获取二值的冠脉血管掩模。本发明方法可减少背景信息对分割目标的干扰，提升分割性能，精确的实现了冠状动脉分割。
Description
技术领域
本发明涉及医疗数据分析技术领域，尤其涉及一种冠状动脉血管图像分割方法及装置、存储介质和终端。
背景技术
冠状动脉疾病(Coronary Artery Disease,CAD)的诊断依赖于从冠状动脉计算机断层扫描血管造影(Coronary Computed Tomography Angiography，CCTA)中准确分割冠状动脉，因此测量变窄的动脉管腔的直径是临床实践中冠脉狭窄分级量化的重要标准。但冠状动脉图像仍然存在如下问题，使得冠状动脉计算机断层扫描血管造影图像中准确分割冠状动脉仍然是一项具有挑战性的任务，问题包括：首先冠状动脉在造影图像中体积比小，使得图相的背景和冠状动脉之间难以得到平衡；其次冠状动脉为直径1mm-5mm的薄结构，导致许多难以分割的区域和不连续的分割，最后个体间具有各种形状和位置的患者特定空间分布，阻碍了网络准确捕获血管解剖结构。
目前医学影像分割网络均采用原始U型结构及其变体，在网络输入大小固定的同时，随着网络深度的增加采用多次降采样操作以此减少计算量。在CCTA冠脉影像中，背景信息占据体素个数远大于目标血管，血管的体素数量只有全部影像体素的千分之一，因而直接利用经典的U型结构网络分割冠脉血管，在多次降采样过程中大多数的细节信息将被丢失，在解码阶段也很难通过跳跃连接和上采样操作完整补全，因此常出现血管细小分支分割断裂、残缺、丢失等现象。
而现有各种基于深度学习的冠状动脉分割方法只进行了部分拓扑约束，因此仍然无法全面描述冠状动脉的整个拓扑结构。
发明内容
本发明所要解决的技术问题是现有冠状动脉血管分割常出现血管细小分支分割断裂、残缺、丢失等现象，且无法获取冠状动脉的整个拓扑结构。
为了解决上述技术问题，本发明提供了一种冠状动脉血管图像分割方法，包括：
获取冠状动脉血管图像；
通过第一U型残差网络对所述冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组，所述心脏子器官掩膜组包括左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜；
通过第二U型残差网络对所述冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于所述冠脉血管粗分割结果对所述冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果；
通过对所述冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对所述心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组；
计算所述冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集中的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有所述距离场特征图进行串联，以获取五通道距离场特征图；
将所述冠脉血管原始图像结果和所述五通道距离场特征图进行合并，以获取冠脉血管合并图；
将所述冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于所述立方体连通性图获取二值的冠脉血管掩模。
优选地，所述训练完成的层次拓扑学习模型包括公共编码器以及分别与所述公共编码器连接的第一解码器、第二解码器和第三解码器；
所述公共编码器，用于对所述冠状动脉血管合并图进行特征提取，以获取冠状动脉血管特征；
所述第一解码器，用于对所述冠状动脉血管特征中冠状动脉的分叉点和短点进行识别，以获取关键点拓扑信息；
所述第二解码器，用于对所述冠状动脉血管特征中冠状动脉的中心线进行识别，以获取中心线拓扑信息；
所述第三解码器，用于对所述冠状动脉血管特征中预设相邻血管点之间的连通关系，以获取连通性拓扑信息。
优选地，所述层次拓扑学习模型训练过程中的损失函数表示为：
S＝λA+βB+C
其中，S表示损失函数，A表示所述第一解码器在训练过程中的关键点损失值，A表示所述第二解码器在训练过程中的中心线损失值，C表示所述第三解码器在训练过程中的立方体连通性损失值，λ表示关键点损失值权重，β表示中心线损失值权重。
优选地，所述第一解码器在进行训练时，采用关键点的高斯热力图作为标签来进行训练；且所述关键点的高斯热力图采用关键点滤波单元生成。
优选地，所述第二解码器在进行训练时，采用中心线热力图作为标签来进行训练；且所述中心线热力图通过3D自适应高斯滤波器生成。
优选地，所述第二U型残差网络在进行训练时，采用膨胀后的冠状动脉血管掩模作为标签来进行训练。
优选地，基于所述立方体连通性图获取二值的冠脉血管掩模包括：
基于所述立方体连通性图，通过最大投票原则获取二值的冠脉血管掩模。
为了解决上述技术问题，本发明提供了一种冠状动脉血管图像分割装置，其特征在于，包括血管图像获取模块、心脏掩膜获取模块、血管粗分割模块、点集获取模块、距离场特征图获取模块、图像合并模块和冠脉血管掩模获取模块；
所述血管图像获取模块，用于获取冠状动脉血管图像；
所述心脏掩膜获取模块，用于通过第一U型残差网络对所述冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组，所述心脏子器官掩膜组包括左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜；
所述血管粗分割模块，用于通过第二U型残差网络对所述冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于所述冠脉血管粗分割结果对所述冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果；
所述点集获取模块，用于通过对所述冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对所述心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组；
所述距离场特征图获取模块，用于计算所述冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有所述距离场特征图进行串联，以获取五通道距离场特征图；
所述图像合并模块，用于将所述冠脉血管原始图像结果和所述五通道距离场特征图进行合并，以获取冠脉血管合并图；
所述冠脉血管掩模获取模块，用于将所述冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于所述立方体连通性图获取二值的冠脉血管掩模。
为了解决上述技术问题，本发明提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现冠状动脉血管图像分割方法。
为了解决上述技术问题，本发明提供了一种终端，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如冠状动脉血管图像分割方法。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
应用本发明实施例提供的冠状动脉血管图像分割方法，通过对冠脉血管进行粗分割获取粗分割结果，并通过距离场特征图来捕获冠脉血管和心脏各个子器件之间的空间关系，以降低血管与背景之间的不平衡，同时距离场特征图也可作为解剖依赖性考虑；而后设计了层次拓扑学习模型，通过学习三个层次的冠脉血管的结构表示来改进粗分割结果，即通过添加关键点、中心线和连接性预测分支，可以显着缓解血管细小分支处的不连续性和患者特异性分布差异的问题。本发明方法可减少背景信息对待分割目标的干扰，提升分割性能，精确的实现了冠状动脉分割。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1示出了本发明实施例一冠状动脉血管图像分割方法的流程示意图；
图2示出了本发明实施例一冠状动脉血管图像分割方法的框架表示图；
图3示出了本发明实施例一中三种典型受试者采用五种不同冠状动脉血管方法进行分割的结果示意图；
图4示出了本发明实施例二冠状动脉血管图像分割装置；
图5示出了本发明实施例四终端的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
冠状动脉疾病(Coronary Artery Disease,CAD)作为最常见的心血管疾病之一，患者人数在我国也已突破千万，其致死率在心血管疾病中的占比达到三分之一，是非常庞大的群体。冠脉疾病病因通常是由于其周围组织病变形成斑块，造成血管管腔狭窄或者阻塞，从而使冠状动脉供血不足诱发疾病。冠状动脉计算机断层扫描血管造影(CoronaryComputed Tomography Angiography，CCTA)是一种非侵入性成像技术，通常用于显示冠脉疾病的病变位置。准确的CAD诊断依赖于从CCTA图像中准确分割冠状动脉，因此测量变窄的动脉管腔的直径是临床实践中冠脉狭窄分级量化的重要标准。
医学图像分割任务提出了各种基于深度学习的方法，并且显示出了出色的分割性能。UNet及其变体等通用模型无法在冠状动脉分割中获得良好的性能，这是由于冠状动脉极其复杂的解剖结构和患者特定的空间分布。一些现有的研究试图通过设计定制的网络来解决这些问题。例如，有人提出了一种改进的带有金字塔池化模块的PSPNet来学习多尺度全局信息，从而减少了小体积比的不利影响。此外，还有人提出了一些基于注意力的方法来学习冠状动脉分割任务中更细粒度的特征表示。然而，这些方法忽略了重要的冠状动脉解剖和拓扑特性，导致分割性能受限。其他一些研究方法采用部分的拓扑表示作为损失约束进行训练。还有人提出了一种轮廓约束加权的豪斯多夫距离损失，它侧重于学习边界的连续性和连通性。最近Shit等人引入了一种称为中心线Dice的相似性测量，通过计算分割掩模和骨架的交点进行约束获得良好的分割性能。然而，这些方法中的拓扑约束只是部分的，并不是一个完整的拓扑结构约束，无法全面描述冠状动脉的整个拓扑结构。
实施例一
为解决现有技术中存在的技术问题，本发明实施例提供了一种冠状动脉血管图像分割方法。
图1示出了本发明实施例一冠状动脉血管图像分割方法的流程示意图；图2示出了本发明实施例一冠状动脉血管图像分割方法的框架表示图；参考图1和图2所示，本发明实施例冠状动脉血管图像分割方法包括如下步骤。
步骤S101，获取冠状动脉血管图像。
具体地，将待进行冠状动脉血管分割的图像作为冠状动脉血管图像，冠状动脉血管图像可选取冠状动脉计算机断层扫描血管造影，也可选取其他合适的冠状动脉血管图像，在此不对其冠状动脉血管图像的表现形式进行具体限定。
步骤S102，通过第一U型残差网络对冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组。
具体地，通过第一U型残差网络对冠状动脉血管图像中心脏的各个器官进行分割，以获取左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜，左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜形成心脏子器官掩膜组。优选地，第一U型残差网络为ResUNet网络结构。
步骤S103，通过第二U型残差网络对冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于冠脉血管粗分割结果对所述冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果。
具体地，通过第二U型残差网络对冠状动脉血管图像中的冠状动脉血管进行分割，以获取冠脉血管粗分割结果。优选地，第二U型残差网络为ResUNet网络结构。需要说明的是，由于心脏属于大器官，因此通过第一U型残差网络对其进行分割已经能够达到令人满意的结果，但冠脉血管由于纤细的结构，直接利用U型残差网络很难获得良好的分割结果，而且会存在大量的欠分割现象；因此为了在计算距离场时可获取冠脉血管的所有体素点，在第二U型残差网络进行训练时，需对标签标注后的冠状动脉血管掩模进行膨胀处理，以膨胀后的标注冠状动脉血管掩模作为第二U型残差网络的监督信号，第二U型残差网络可输出粗分割的结果。优选地，膨胀核可设置为(5,5,5)。
步骤S104，通过对冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组。
具体地，对冠脉血管粗分割结果中的所有冠脉血管进行三维坐标的全采样，以获取冠脉血管点集P＝[p1、p2、····、pN]。其中冠脉血管上的一个体素点即为三维坐标中的一个点，冠脉血管点集的维度为N×3，其中n∈[13000,20000]，不同个体之间的血管体素点数量不尽相同，因此n的个数也不固定。同理，对心脏子器官掩膜组中的左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜进行三维坐标采样，以获取左心房点集、右心房点集、左心室点集、右心室点集和主动脉点集，左心房点集、右心房点集、左心室点集、右心室点集和主动脉点集形成心脏子器官点集组。且需要说明的是，为了降低计算成本，对心脏子器官掩膜组中的所有心脏子器官掩膜分别采用三维坐标的降采样方式进行采样。例如可心脏子器官掩膜的每个点集被均匀降采样到8000点，且心脏子器官点集组可被记为{O1，O2，····，O5}。
步骤S105，计算冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有距离场特征图进行串联，以获取五通道距离场特征图。
具体地，通过如下公式(1)计算冠脉血管点集中每个采样点分别到左心房点集的最小距离，以获取左心房所对应的距离场特征图。
其中，Sn,m表示冠脉血管点集中第n个点pn到任意心脏子器官点集中点om的最短距离，其中OM表示任意一个心脏子器官点集，(x、y、z)表示点集中点的三维坐标。同理通过式子(1)计算获取右心房所对应的距离场特征图、左心室所对应的距离场特征图、右心室所对应的距离场特征图和主动脉所对应的距离场特征图。
然后将获得的五个距离场特征图分别通过式子(2)所示方式进行归一化处理，以获取归一化后的五个距离场特征图。对距离场特征图进行归一化处理可减少距离场特征图中异常值的干扰。最后将归一化后的五个距离场特征图串联在一起，可形成五通道的距离场特征图，即五通道距离场特征图Fa＝{(dn,1、dn,2····、dn,5)}。
其中，dn,m为Sn,m的归一化表示，τ为经验值可设置为50。
步骤S106，将冠脉血管原始图像结果和五通道距离场特征图进行合并，以获取冠脉血管合并图。
具体地，将冠脉原始图像结果与五通道距离特征场图串联在一起，形成六通道的合并图，六通道的合并图即为冠脉血管合并图，以用于输入到后面的层次拓扑学习模型中。
步骤S107，将冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于立方体连通性图获取二值冠脉血管掩模。
具体地，将冠脉血管合并图输入到训练完成的层次拓扑学习模型中，可获取冠脉血管合并图中冠脉血管每个血管点的所对应的27通道结果，即每个血管点有27个预测结果，然后对每个血管点的27个结果采用最大投票原则，将其融合为二值图像，获得冠脉血管的二值分割掩模。
由于最后需要得到的是二值的冠脉血管掩模，因此需要对训练完成的层次拓扑学习模型输出的立方体连通性图进行融合处理，以获取最终的血管二值掩模。具体地，遵循立方体连通性构建的逆过程，对于网络输出的27通道结果，即就是在每个体素的位置处同样会产生27个预测结果，然后采用最大投票原则来选择最佳结果，获得最终的二值冠脉血管掩模。
具体层次拓扑学习模型包括公共编码器以及分别与公共编码器连接的第一解码器、第二解码器和第三解码器；其中公共编码器主要用于对冠状动脉血管合并图进行特征提取，以获取冠状动脉血管特征；在训练阶段获取的冠状动脉血管特征分别被传输到第一解码器、第二解码器和第三解码器中，学习关键点拓扑信息、中心线拓扑信息以及连通性拓扑信息。
第一解码器主要用于对冠状动脉血管特征中冠状动脉的分叉点和短点进行识别，以获取冠状动脉的关键点拓扑信息。进一步地，每个冠状动脉分支的分叉点和端点可以为血管树状结构提供强有力的参考，因此添加了一个第三U型残差网络(ResUNet解码器结构)作为第一解码器，以用于辅助血管分割。在关键点检测任务中，与直接回归坐标点的情况相比，关键点热力图回归侧重于回归一个分布的表示，更适合关键点检测任务，能够产生更鲁棒的结果。因此第一解码器在进行训练时，采用关键点的高斯热力图作为标签来进行训练；且关键点的高斯热力图采用关键点滤波单元生成。
第二解码器主要用于对冠状动脉血管特征中冠状动脉的中心线进行识别，以获取冠状动脉的中心线拓扑信息。进一步地，由于中心线上的体素点仅覆盖每个血管横截面上的一些离散体素点，若直接预测这些中心体素的位置，往往很小的位置偏差就会导致中心线预测结果的巨大误差，因此采用第四U型残差网络(ResUNet解码器结构)作为第二解码器以获取中心线热力图回归，而不是直接预测中心线上的体素点。因此第二解码器在进行训练时，采用中心线热力图作为标签来进行训练；且中心线热力图通过3D自适应高斯滤波器生成。采用中心线热力图回归能够更加关注冠状动脉血管的拓扑连接，防止分割过程中出现局部血管断裂的现象。3D自适应高斯滤波器生成局部归一化的中心线热力图回归过程如式子(3)和式子(4)所示。
其中，σt表示冠状动脉血管掩模在三个维度的标准偏差，其与单个冠状动脉血管的宽度、高度和深度成正比。式子(4)的设计既能够保证粗血管中心线热力图具有平滑的值的变化，又能够使细血管中心线热力图得到显着地增强。Ct表示冠状动脉血管第t个中心线点的三维坐标，Pt l表示第t个中心线点周围的第l个血管点的三维坐标，共有L个点，l表示中心线点周围的血管点。
第三解码器则主要用于对冠状动脉血管特征中预设相邻血管点之间的连通关系，以获取冠状动脉的立方体连通性图。进一步地，立方体连通性定义为：在冠脉血管上任意一个的血管点P与其最近的26个相邻点Q之间，若血管点P和相连点Qi(i＝1、2……26)均属于冠脉血管上的点，则定义(P,Qi)为连通状态，此时血管点P的第i个通道上的标签标记为1，否则将血管点P的第i个通道的标签标记为0，表示血管点P和Qi之间并未连接是断开的，进而得到血管点P所对应的27通道结果。立方体连通性的设计可实现对所有冠状动脉体素的拓扑关系进行编码，使得图像中所有的血管体素点都被连接在一个空间中，而所有的背景体素都是断开的，从而减少了网络学习过程中的背景干扰。
需要说明的是，在训练阶段，层次拓扑学习模型的公共编码器编码获取冠状动脉血管特征后，会被分别被传输到第一解码器、第二解码器和第三解码器中，以分别学习关键点拓扑信息、中心线拓扑信息和连通性拓扑信息。但在实际测量阶段，训练完成的层次拓扑学习模型中的公共编码器编码获取冠状动脉血管特征后，会将冠状动脉血管特征传输到第三解码器中，以获取立方体连通性图。
且无论是在训练过程还是在实际测量阶段，公共编码器编码和第三解码器均是通过上述工作方式进行工作的。
且进一步地，层次拓扑学习模型训练过程中的损失函数表示为：
S＝λA+βB+C
其中，S表示损失函数，A表示第一解码器在训练过程中的关键点损失值，A表示第二解码器在训练过程中的中心线损失值，C表示第三解码器在训练过程中的立方体连通性损失值，λ表示关键点损失值权重，β表示中心线损失值权重。其中第一解码器的关键点损失值和第二解码器的中心线损失值均是通过均方误差损失函数获取的，第三解码器的立方体连通性损失值则是通过平均Dice损失函数获取的。λ和β均优选为0.2。
为了对本发明实施例冠状动脉血管图像分割方法的准确度进行说明，本实施例将本发明方法与现有基于深度学习的血管分割方法的具体实施数据进行了比较，现有深度学习的血管分割方法包括ResUNet、改进的PSPNet、CS2-Net和clDice。定量结果如表1所示，定性结果如图3所示。
表1中总结了五种不同方法在冠状动脉分割任务中的指标结果，可以看出本文所提方法明显优于其他文献所提方法。具体来说，与基线ResUNet相比，我们的方法在大多数指标上都取得了显着提升。与此同时，我们的方法取得了比clDice更好的性能(例如，将分割精度(Dice)从76.72％提高到80.36％)。值得注意的是，所有这些对比的方法都很少关注冠脉血管对心脏的依赖性和冠状动脉拓扑结构，这通常会导致分割结果中的假阳性和血管不连续性。这些结果充分表明本文所提框架的有效性。
图3示出了本发明实施例一中三种典型受试者采用五种不同冠状动脉血管方法进行分割的结果示意图；参考图3所示，对于较为简单的分割病例(如第一行)，五种方法可以在血管的整体结构上均能产生令人满意的结果，但这些对比方法难分割的局部区域(如分叉处)，难以保持更好的细节，图3中圆圈中区域。对于较为困难分割病例(最后两行)，视觉展示的结果中可以看出我们的方法明显优于其他对比方法。这是由于原始数据的大部分背景在空间解剖依赖模块中被消除，背景的误分割很少出现在我们的结果中。此外，通过层级拓扑约束，我们的结果在每个冠状动脉分支中保持了良好的拓扑连续性，这与其他具有大量不连续性的方法不同。定性结果进一步验证了本文所提冠状动脉分割方法的有效性
本发明实施例提供的冠状动脉血管图像分割方法，通过对冠脉血管进行粗分割获取粗分割结果，并通过距离场特征图来捕获冠脉血管和心脏各个子器件之间的空间关系，以降低血管与背景之间的不平衡，同时距离场特征图也可作为解剖依赖性考虑；而后设计了层次拓扑学习模型，通过学习三个层次的冠脉血管的结构表示来改进粗分割结果，即通过添加关键点、中心线和连接性预测分支，可以显着缓解血管细小分支处的不连续性和患者特异性分布差异的问题。本发明方法可减少背景信息对待分割目标的干扰，提升分割性能，精确的实现了冠状动脉分割。
实施例二
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种冠状动脉血管图像分割装置。
图4示出了本发明实施例二冠状动脉血管图像分割装置；参考图4所示，本发明实施例冠状动脉血管图像分割装置包括血管图像获取模块、心脏掩膜获取模块、血管粗分割模块、点集获取模块、距离场特征图获取模块、图像合并模块和冠脉血管掩模获取模块。
血管图像获取模块用于获取冠状动脉血管图像。
心脏掩膜获取模块用于通过第一残差U型网络对冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组，心脏子器官掩膜组包括左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜。
血管粗分割模块用于通过第二残差U型网络对冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于冠脉血管粗分割结果对冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果。
点集获取模块用于通过对冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组。
距离场特征图获取模块用于计算冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有距离场特征图进行串联，以获取五通道距离场特征图。
图像合并模块用于将冠脉血管原始图像结果和五通道距离场特征图进行合并，以获取冠脉血管合并图。
冠脉血管掩模获取模块用于将冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于立方体连通性图获取二值的冠脉血管掩模。
本发明实施例提供的冠状动脉血管图像分割装置，通过对冠脉血管进行粗分割获取粗分割结果，并通过距离场特征图来捕获冠脉血管和心脏各个子器件之间的空间关系，以降低血管与背景之间的不平衡，同时距离场特征图也可作为解剖依赖性考虑；而后设计了层次拓扑学习模型，通过学习三个层次的冠脉血管的结构表示来改进粗分割结果，即通过添加关键点、中心线和连接性预测分支，可以显着缓解血管细小分支处的不连续性和患者特异性分布差异的问题。本发明装置可减少背景信息对待分割目标的干扰，提升分割性能，精确的实现了冠状动脉分割。
实施例三
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现实施例一中冠状动脉血管图像分割方法中的所有步骤。
冠状动脉血管图像分割方法的具体步骤以及应用本发明实施例提供的可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。
需要说明的是：存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例四
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端。
图5示出了本发明实施例四终端结构示意图，参照图5，本实施例终端包括相互连接的处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一冠状动脉血管图像分割方法中的所有步骤。
冠状动脉血管图像分割方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。
需要说明的是，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种冠状动脉血管图像分割方法，包括：
获取冠状动脉血管图像；
通过第一U型残差网络对所述冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组，所述心脏子器官掩膜组包括左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜；
通过第二U型残差网络对所述冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于所述冠脉血管粗分割结果对所述冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果；
通过对所述冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对所述心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组；
计算所述冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有所述距离场特征图进行串联，以获取五通道距离场特征图；
将所述冠脉血管原始图像结果和所述五通道距离场特征图进行合并，以获取冠脉血管合并图；
将所述冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于所述立方体连通性图获取二值的冠脉血管掩模。
2.根据权利要求1所述的方法，其特征在于，所述训练完成的层次拓扑学习模型包括公共编码器以及分别与所述公共编码器连接的第一解码器、第二解码器和第三解码器；
所述公共编码器，用于对所述冠状动脉血管合并图进行特征提取，以获取冠状动脉血管特征；
所述第一解码器，用于对所述冠状动脉血管特征中冠状动脉的分叉点和短点进行识别，以获取关键点拓扑信息；
所述第二解码器，用于对所述冠状动脉血管特征中冠状动脉的中心线进行识别，以获取中心线拓扑信息；
所述第三解码器，用于对所述冠状动脉血管特征中预设相邻血管点之间的连通关系，以获取连通性拓扑信息。
3.根据权利要求2所述的方法，其特征在于，所述层次拓扑学习模型训练过程中的损失函数表示为：
S＝λA+βB+C
其中，S表示损失函数，A表示所述第一解码器在训练过程中的关键点损失值，A表示所述第二解码器在训练过程中的中心线损失值，C表示所述第三解码器在训练过程中的立方体连通性损失值，λ表示关键点损失值权重，β表示中心线损失值权重。
4.根据权利要求2所述的方法，其特征在于，所述第一解码器在进行训练时，采用关键点的高斯热力图作为标签来进行训练；且所述关键点的高斯热力图采用关键点滤波单元生成。
5.根据权利要求2所述的方法，其特征在于，所述第二解码器在进行训练时，采用中心线热力图作为标签来进行训练；且所述的中心线热力图通过3D自适应高斯滤波器生成。
6.根据权利要求1所述的方法，其特征在于，所述第二U型残差网络在进行训练时，采用膨胀后的冠状动脉血管掩模作为标签来进行训练。
7.根据权利要求1所述的方法，其特征在于，基于所述立方体连通性图获取二值的冠脉血管掩模包括：
基于所述立方体连通性图，通过最大投票原则获取二值的冠脉血管掩模。
8.一种冠状动脉血管图像分割装置，其特征在于，包括血管图像获取模块、心脏掩膜获取模块、血管粗分割模块、点集获取模块、距离场特征图获取模块、图像合并模块和冠脉血管掩模获取模块；
所述血管图像获取模块，用于获取冠状动脉血管图像；
所述心脏掩膜获取模块，用于通过第一U型残差网络对所述冠状动脉血管图像中进行分割，以获取心脏子器官掩膜组，所述心脏子器官掩膜组包括左心房掩模、右心房掩模、左心室掩模、右心室掩模和主动脉掩膜；
所述血管粗分割模块，用于通过第二U型残差网络对所述冠状动脉血管图像中进行分割，以获取冠脉血管粗分割结果，并基于所述冠脉血管粗分割结果对所述冠状动脉血管图像进行剪裁，以获取冠脉血管原始图像结果；
所述点集获取模块，用于通过对所述冠脉血管粗分割结果进行三维坐标采样，以获取冠脉血管点集，并通过分别对所述心脏子器官掩膜组中的所有心脏子器官掩膜进行三维坐标采样，以获取心脏子器官点集组；
所述距离场特征图获取模块，用于计算所述冠脉血管点集中每个采样点到心脏子器官点集组中每个心脏子器官点集的最小距离，以获取每个心脏子器官点集所对应的距离场特征图，再将所有所述距离场特征图进行串联，以获取五通道距离场特征图；
所述图像合并模块，用于将所述冠脉血管原始图像结果和所述五通道距离场特征图进行合并，以获取冠脉血管合并图；
所述冠脉血管掩模获取模块，用于将所述冠脉血管合并图输入到训练完成的层次拓扑学习模型中，以获取立方体连通性图，并基于所述立方体连通性图获取二值的冠脉血管掩模。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项冠状动脉血管图像分割方法。
10.一种终端，其特征在于，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项冠状动脉血管图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056412.8A CN115409859A (zh) | 2022-08-30 | 2022-08-30 | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056412.8A CN115409859A (zh) | 2022-08-30 | 2022-08-30 | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115409859A true CN115409859A (zh) | 2022-11-29 |
Family
ID=84164551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211056412.8A Pending CN115409859A (zh) | 2022-08-30 | 2022-08-30 | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409859A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958176A (zh) * | 2023-09-21 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及介质 |
| CN117611599A (zh) * | 2023-12-28 | 2024-02-27 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
| CN117974654A (zh) * | 2024-03-29 | 2024-05-03 | 杭州脉流科技有限公司 | 冠脉图像分割方法、装置、计算机设备和存储介质 |
-
2022
- 2022-08-30 CN CN202211056412.8A patent/CN115409859A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958176A (zh) * | 2023-09-21 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及介质 |
| CN116958176B (zh) * | 2023-09-21 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及介质 |
| CN117611599A (zh) * | 2023-12-28 | 2024-02-27 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
| CN117611599B (zh) * | 2023-12-28 | 2024-05-31 | 齐鲁工业大学(山东省科学院) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
| CN117974654A (zh) * | 2024-03-29 | 2024-05-03 | 杭州脉流科技有限公司 | 冠脉图像分割方法、装置、计算机设备和存储介质 |
| CN117974654B (zh) * | 2024-03-29 | 2024-06-11 | 杭州脉流科技有限公司 | 冠脉图像分割方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
| WO2021244661A1 (zh) | 确定图像中血管信息的方法和系统 | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 | |
| CN110448319B (zh) | 基于造影影像及冠状动脉的血流速度计算方法 | |
| CN113298831B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN112785551A (zh) | 一种基于深度学习的冠状动脉分割方法 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
| CN111667478A (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
| CN112308846B (zh) | 血管分割方法、装置及电子设备 | |
| CN113192069B (zh) | 三维断层扫描图像中树状结构的语义分割方法和装置 | |
| AU2021101226A4 (en) | Stroke lesion segmentation method and system | |
| CN115205298B (zh) | 肝部区域血管分割的方法及设备 | |
| CN116433586A (zh) | 一种乳腺超声断层图像分割模型建立方法及分割方法 | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN112733953A (zh) | 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 | |
| Zhao et al. | Automatic aortic dissection centerline extraction via morphology-guided CRN tracker | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN114998582A (zh) | 一种冠脉血管的分割方法、装置及存储介质 | |
| CN116309346A (zh) | 医学图像的检测方法、装置、设备、存储介质及程序产品 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| CN114418955A (zh) | 冠脉斑块狭窄度检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |