CN111292314B - 冠脉分段方法、装置、图像处理系统和存储介质 - Google Patents
冠脉分段方法、装置、图像处理系统和存储介质 Download PDFInfo
- Publication number
- CN111292314B CN111292314B CN202010140323.6A CN202010140323A CN111292314B CN 111292314 B CN111292314 B CN 111292314B CN 202010140323 A CN202010140323 A CN 202010140323A CN 111292314 B CN111292314 B CN 111292314B
- Authority
- CN
- China
- Prior art keywords
- point
- coronary
- segmentation
- coronary artery
- heart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 211
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 175
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 230000002861 ventricular Effects 0.000 claims description 39
- 230000001746 atrial effect Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 26
- 230000000747 cardiac effect Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 230000000877 morphologic effect Effects 0.000 claims description 14
- 210000004204 blood vessel Anatomy 0.000 claims description 13
- 238000002059 diagnostic imaging Methods 0.000 claims description 13
- 210000000709 aorta Anatomy 0.000 claims description 9
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 210000005240 left ventricle Anatomy 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000005242 cardiac chamber Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000002837 heart atrium Anatomy 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 210000005246 left atrium Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000005245 right atrium Anatomy 0.000 description 4
- 210000005241 right ventricle Anatomy 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种冠脉分段方法、装置、图像处理系统和存储介质。该方法包括：将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。由于该方法中输入点云神经网络的特征向量综合考虑了各点自身特征和各点相对于整个心脏的位置特征，使得点云神经网络在对特征向量进行处理时可以融合更全面的特征信息，从而大大提高了冠脉分段结果的准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种冠脉分段方法、装置、图像处理系统和存储介质。
背景技术
随着医疗影像设备的发展，医生可以借助医学图像进行疾病的筛查和诊断，例如通过心血管电子计算机断层扫描(Computed Tomography，CT)对心血管疾病进行定位和分级诊断。冠脉是由心脏发出围绕包裹心脏分布呈皇冠形状的动脉，冠脉分段是根据动脉血管的起源、分叉、围绕心脏的空间分布和走势不同对每一段血管进行区分并命名，按照国际心血管CT协会(SCCT)的标准规定冠脉血管被分为如图1所示的18段，自动化的冠脉分段能够辅助冠脉疾病诊断报告的结构化、标准化、自动化。
目前常用的冠脉分段方法，一是基于血管自身特征的分段技术，基于血管的拓扑结构和形状的几何计算方法并按照冠脉分段标准到分段结果，但其往往需要手工调试大量的参数设置，操作繁琐且缺乏鲁棒性；另一个是基于深度学习的冠脉分段方法，但由于图像高分辨率的要求和GPU显存的限制，往往需要把整个心腔的图像切割成子块输入到神经网络，这样就会使网络失去整个心腔的结构信息，不能有效地判断血管分段。
总之，利用传统技术进行冠脉分段，其准确率较低。
发明内容
基于此，有必要针对传统技术中冠脉分段准确率较低的问题，提供一种冠脉分段方法、装置、图像处理系统和存储介质。
一种冠脉分段方法，该方法包括：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
一种冠脉分段装置，该装置包括：
分割模块，用于将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
点云采样模块，用于对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
计算模块，用于根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
分段模块，用于将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
一种图像处理系统，包括医学影像设备和计算机设备；
该医学影像设备用于采集受测对象的心脏冠脉图像，并发送至计算机设备；
计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现以下步骤：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
上述冠脉分段方法、装置、图像处理系统和存储介质，能够将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。由于该方法中输入点云神经网络的特征向量包括了每个点的位置、每个点相对于心脏各结构区域的位置以及每个点的形态特征，即综合考虑了各点自身特征和各点相对于整个心脏的位置特征，包含的特征信息相对于传统技术更全面，使得点云神经网络在对特征向量进行处理时可以融合更全面的特征信息，从而大大提高了冠脉分段结果的准确性。
附图说明
图1为按照SCCT标准规定的冠脉血管分段示意图；
图2为一个实施例中图像处理系统的结构示意图；
图3为一个实施例中冠脉分段方法的流程示意图；
图3a为一个实施例中心脏分割结果的示意图；
图3b为一个实施例中冠脉二值化掩模的示意图；
图3c为一个实施例中点云化的效果示意图；
图3d为一个实施例中点云神经网络的结构示意图；
图3e为一个实施例中点云神经网络的分组抽象过程示意图；
图3f为一个实施例中整个冠脉分段过程的处理流程示意图；
图4为另一个实施例中冠脉分段方法的流程示意图；
图4a为一个实施例中冠脉分段与心脏的位置关系示意图；
图4b为一个实施例中确定点的位置特征矢量步骤的流程示意图；
图4c为一个实施例中确定点的几何形态矢量步骤的流程示意图；
图5为又一个实施例中冠脉分段方法的流程示意图；
图6为一个实施例中点云神经网络的训练过程流程示意图；
图7为一个实施例中冠脉分段装置的结构框图；
图8为另一个实施例中冠脉分段装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
附图标记说明：
11：医学影像设备； 12：计算机设备。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的冠脉分段方法，可以适用于如图2所示的图像处理系统中。其中，该系统中包括医疗影像设备11和计算机设备12；医疗影像设备11可以为CT设备、磁共振成像(Magnetic Resonance Imaging，MRI)设备、正电子发射型计算机断层显像(PositronEmission Computed Tomography，PET)设备或其他医疗设备，分别用于采集患者的CT图像、MRI图像、PET图像或其他模态的医学图像，并将采集到的医学图像发送至计算机设备12。计算机设备12用于执行以下方法实施例中的步骤，以实现冠脉精确分段的处理过程。
在一个实施例中，如图3所示，提供了一种冠脉分段方法，以该方法应用于图2中的计算机设备为例进行说明，包括以下步骤：
S101，将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模。
其中，待分段的心脏冠脉图像为由医学影像设备采集的原始图像，该心脏冠脉图像可以为CT血管造影(CT Angiography，CTA)图像，计算机设备可以实时从医学影像设备中获取该心脏冠脉图像，也可以以固定时间周期从医学影像设备中获取该心脏冠脉图像。
具体地，计算机设备可以对上述心脏冠脉图像分别进行心脏分割和冠脉分割处理，得到心脏分割结果和冠脉二值化掩模。在心脏分割过程中，需分割出心脏的各个结构区域，如左/右心房心室、主动脉等，心脏分割结果的示意图可以参见图3a所示，各不同区域可以采用不同颜色进行标注。在冠脉分割过程中，因冠脉与心脏具有一定的位置分布关系，则可以借助心脏分割结果对心脏冠脉图像进行分割，得到冠脉二值化掩模，其中冠脉区域和背景区域采用两种不同颜色进行标注，其示意图可以参见图3b所示。
可选地，计算机设备可以采用预设的图像分割模型对心脏冠脉图像进行分割，该图像分割模型可以为神经网络模型，如卷积神经网络、循环神经网络等，包括但不限于VNet、UNet等模型。可选地，可以采用同一图像分割模型对心脏和冠脉进行分割，也可以采用不同的图像分割模型对心脏和冠脉进行分割。可选地，计算机设备还可以采用基于图像像素点特征分析的方法，对心脏冠脉图像进行分割，总之，本实施例中对心脏冠脉图像的分割方法不做限制。
可选地，计算机设备在获取到待分段的心脏冠脉图像后，还可以先对其进行图像预处理，包括但不限于图像滤波去噪、标准化、归一化等，然后将预处理后的心脏冠脉图像进行心脏分割和冠脉分割。
S102，对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标。
具体地，点云是同一空间参考系下表达目标空间的点集合，计算机设备在得到上述冠脉二值化掩模后，可以对该冠脉二值化掩模进行点云化。可选地，可以根据预设的采样间隔(spacing)对其进行离散采样，并获得采样点的位置坐标，进而得到对应的点云；还可以选取冠脉二值化掩模的轮廓线，得到对应的点云。其中，点云中每个点的位置坐标可以为三维坐标，点云化的示意图可以参见图3c所示。
S103，根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量。
具体地，因上述点云中包括每个点的位置坐标，则每个点相对于心脏各结构区域的相对位置便可以确定，记为位置特征；再根据冠脉二值化掩模可以得到冠脉各段血管本身的形态特征，因点云是对冠脉二值化掩模进行点云化得到的，则可以确定点云中每个点的形态特征。最后计算机设备将每个点的位置坐标、位置特征以及形态特征作为该点对应的特征向量。由此，该特征向量综合考虑了每个点的位置、相对于心脏各结构区域的位置以及形态特征，为后续处理步骤提供了较全面的数据基础。
S104，将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
其中，点云神经网络可以捕捉各点之间隐式的空间关系并且利用每个点固有的特征属性，与传统神经网络不同的是，传统神经网络的输入为有序的特征图，只能处理均匀网格采样的数据，而点云神经网络的输入是随机次序的三维点坐标和其特征，使得其可以处理非均匀非网格采样的数据。点云神经网络为处理无序的数据并消除无序对最终结果的影响，采用了对称函数作为激活函数，例如MaxPooling函数，无论输入顺序是否一致，只输出最大的值。点云神经网络的结构可以参见图3d所示，其由两种主要组件构成：第一个组件是分组抽象组件，如图3e所示，其与卷积网络的思路相似，作用是对离散并且无序的点根据其坐标进行特征聚合。分组抽象首先根据坐标进行最远距离分组，然后把每一组的特征经过一个全连接层进行特征提取，最后经过一个对称函数MaxPooling来消除组内输入点的无序性，并且各组之间共享全连接层的参数。由于分组抽象组件的流程与卷积层非常相似，其在实现时把输入调整为卷积层可接受的输入格式，然后直接采用卷积层来实现特征聚合。另一个主要组成部分是特征传递，在图3e中经过多层分组抽象之后点云被映射到了点个数非常小的高维特征空间中，但在分割任务中我们需要输出点云中每一点所属的类别，因此需要得到原始三维坐标的所有的点，这里需要一个上采样的过程；特征传递组件对每个点找距离该点坐标最近的k个点，然后该点的特征为根据最近的k个点的特征按照距离进行加权插值所得到。
那么，计算机设备将上述点云中每个点对应的特征向量输入点云神经网络中，可以输出每个点所属冠脉子段的类别，可选地，该类别可以为每个点属于每个冠脉子段的概率，根据各概率确定最终类别，进而得到心脏冠脉图像的冠脉分段结果。可选地，上述点云神经网络可以为PointNet网络，其训练方式可以为：首先根据冠脉分段金标准得到网络学习的目标，其中为每一段设置不同的标签，然后将训练样本的点云特征向量输入到点云神经网络进行迭代训练，根据训练完成后的网络参数，得到收敛的点云神经网络。
可选地，在得到冠脉分段结果后，计算机设备还可以根据分段结果将上述点云中的点转换为实际应用的掩模MASK，该MASK上以不同颜色标注出不同的冠脉子段，可供医生在临床分析上做数据参考。关于整个冠脉分段过程的处理流程可以参见图3f所示。可选地，除了冠脉分段，本实施例中的方法也可结合其他血管的结构特征进行血管分段或者网状结构的分段。
本实施例提供的冠脉分段方法，计算机设备首先将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；然后对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标，再根据该点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；最后将每个点对应的特征向量输入点云神经网络中，进而得到心脏冠脉图像的冠脉分段结果。由于该方法中输入点云神经网络的特征向量包括了每个点的位置、每个点相对于心脏各结构区域的位置以及每个点的形态特征，即综合考虑了各点自身特征和各点相对于整个心脏的位置特征，包含的特征信息相对于传统技术更全面，使得点云神经网络在对特征向量进行处理时可以融合更全面的特征信息，从而大大提高了冠脉分段结果的准确性。
在一个实施例中，上述心脏分割结果包括心房区域、心室区域和主动脉区域；如图4所示，上述S103可以包括：
S201，针对每个点，根据点的位置坐标和心房区域、以及根据点的位置坐标和心室区域，确定点的位置特征矢量。
具体地，针对点云中的每个点，计算机设备可以根据点的位置坐标和心房区域，确定点到心房某个固定点的距离矢量，以及根据点的位置坐标和心室区域，确定点到心室某个固定点的距离矢量，组合为该点的位置特征矢量。其中，由于心脏包括左心房、右心房、左心室和右心室，则计算机设备可以分别计算每个点到左、右心房和左、右心室的距离矢量。关于冠脉分段与心脏的位置关系可以参见图4a所示的示意图。
可选地，根据心脏的结构特征可知，左、右心房和左、右心室中分别具有一质心点，左右心室之间具有一外交线(室间沟)，心房心室之间也具有一外交线(房室沟)，则如图4b所示，上述S201可以包括：
S201a，分别从上述心房区域和心室区域中确定出心房质心坐标、心室质心坐标、以及室间沟区域和房室沟区域。
S201b，根据点云中点的位置坐标和心房质心坐标，计算该点与心房质心之间的第一距离矢量，以及根据点的位置坐标和心室质心坐标，计算该点与心室质心之间的第二距离矢量。
S201c，根据点的位置坐标与室间沟区域，计算点到室间沟的第一最短距离矢量，以及根据点的位置坐标与房室沟区域，计算点到房室沟的第二最短距离矢量。
S201d，将第一距离矢量、第二距离矢量、第一最短距离矢量和第二最短距离矢量作为点的位置特征矢量。
具体地，计算机设备可以根据心脏心房、心室的空间结构特征确定出各质心以及室间沟区域和房室沟区域，然后采用欧几里得距离计算方法分别计算上述第一距离矢量和第二距离矢量，采用点到线最短距离计算方法计算上述第一最短距离矢量和第二最短距离矢量。可选地，本实施例中点云中每一点对应的位置特征矢量表达方式可以为其中，/>分别为该点到左心房、左心室、右心房、右心室相应质心的距离矢量，/>为该点到心房心室外交线的最短距离矢量，其展开为[dlalv,drarv,dlvrvf,dlvrvb]分别对应左心房左心室的外交线、右心房右心室的外交线、左心室右心室的前外交线、左心室右心室的后外交线。
其中，因冠脉血管不同子段包围的是不同心脏腔室，且一些冠脉子段(如右冠状动脉RCA、左前降支LAD、左回旋支LCX、右后降支动脉RPDA、左后降支动脉LPDA)是沿着房室沟/室间沟走向的，那么上述计算点云中每个点到心房/心室质心的距离，可以表征不同点相对于不同心腔的位置差异，计算每一点到房室沟/室间沟的最短距离也可以表征不同点的位置差异。由此充分考虑心脏与冠脉之间的空间关系，极大提高了后续冠脉分段结果的准确性。
S202，根据点的位置坐标、主动脉区域和冠脉二值化掩模，确定点的几何形态矢量。
其中，本实施例中将冠脉在上述点处血管血流方向矢量作为该点的几何形态矢量，确定血管血流方向矢量的方法可以包括：先根据冠脉二值化掩模提取中心线，然后根据心脏的主动脉分割结果得到冠脉左右两大段的起始点(左主干起点LMS和右冠状动脉起点RCAS)，根据起始点遍历整个冠脉中心线得到有序的中心线。因是从起始点开始遍历整个中心线，因此，得到的中心线遍历结果可以理解为是有序的，其可以表征血液流向；可选地，可以将该有序的中心线的方向向量作为血管血流方向。
基于血管血流方向的确定方法，可选地，如图4c所示，该S202步骤可以包括：
S202a，对冠脉二值化掩模提取冠脉中心线，并根据主动脉区域确定冠脉起始点。
S202b，从冠脉起始点开始遍历冠脉中心线，得到有序中心线。
S203c，根据点的位置坐标和有序中心线，确定有序中心线上与该点距离最短的中心点，将该中心点处的方向向量作为点的几何形态矢量。
具体地，因左冠脉所有血管的起点都是从左心房主动脉发出，右冠脉所有血管的起点都从右心房主动脉发出，则计算机设备通过上述心脏的主动脉区域便可确定冠脉起始点。然后从冠脉起始点遍历冠脉中心线，得到有序中心线，通过点到线最短距离计算方法可以确定点云中点到有序中心线的最短距离及最短距离对应的中心点，那么该中心点处的方向向量便为点云中点的几何形态矢量，可以用来表示。
S203，将点的位置坐标、位置特征矢量和几何形态矢量，作为点对应的特征向量。
具体地，计算机设备可以将上述点的位置坐标、位置特征矢量和几何形态矢量作为该点对应的特征向量，可选地，该特征向量的表达方式可以为其中，为点云中点的三维坐标[x,y,z]向量，则该特征向量的维度为22；假设点云中点的数量为W个，则最终输入点云神经网络中的特征向量为RW×22。但需要说明的是，本申请中特征向量并不限于上述位置坐标、位置特征矢量和几何形态的计算方法，也可以根据心脏的其他空间结构特征来确定特征向量。
本实施例提供的冠脉分段方法，针对点云中的每个点，计算机设备可以根据点的位置坐标和心房区域、以及根据点的位置坐标和心室区域，确定点的位置特征矢量；根据点的位置坐标、主动脉区域和冠脉二值化掩模，确定点的几何形态矢量；将点的位置坐标、位置特征矢量和几何形态矢量，作为该点对应的特征向量。该方法中充分考虑每个点与心脏之间的空间关系和每个点本身的各种特征，并充分利用冠脉本身的形态学特征，极大提高了冠脉分段的准确性。
在一个实施例中，如图5所示，上述S104可以包括：
S301，将每个点对应的特征向量输入点云神经网络中，输出冠脉分段概率图，该冠脉分段概率图包括每个点属于不同冠脉子段的概率。
具体地，点云神经网络的网络结构和工作原理可以参见上述实施例的描述，在此不再赘述。该点云神经网络可以输出每个点属于不同冠脉子段的概率，将全部点的概率组合为概率图。因冠脉总共可分为18段，则输出结果为每个点属于这18个子段的概率，其中，本实施例可以把每个点对于每个子段类别都当作一个二分类，网络最后一层是一个sigmoid函数，输出为每个类别的概率图。
S302，根据冠脉分段概率图和预设阈值，确定冠脉分段概率图中每个冠脉子段的最大连通域。
S303，根据每个冠脉子段的最大连通域，确定冠脉分段结果。
具体地，计算机设备可以根据预先设定的每段的概率阈值，在上述概率图上确定每个冠脉子段的最大连通域，将最大连通域作为该段的候选段。可选地，在确定候选段的过程中，可以将相同类别候选段中距离比较近的段合并成一个段，并把连接过程中所经过的中间路径的点也设为该候选段的点；最后合并不同候选段之间的重叠部分得到最终的分段结果。
本实施例提供的冠脉分段结果，计算机设备将每个点对应的特征向量输入点云神经网络中，通过将原心脏冠脉图像转换为点云输入网络，可以增加分段时的网络感受野，减少运行时耗时；并根据网络输出的冠脉分段概率图和预设阈值确定每个冠脉子段的最大连通域，进而确定冠脉分段结果，也进一步提高了分段结果的准确性。
在一个实施例中，如图6所示，上述点云神经网络的训练方法包括：
S401，获取样本点云中每个点的特征向量，输入初始点云神经网络中，输出预测冠脉分段概率图；该预测冠脉分段概率图包括每个点属于不同冠脉子段的概率。
其中，样本点云可以由心脏冠脉样本图像经图像分割得到冠脉样本二值化掩模，再对冠脉样本二值化掩模进行离散采样而得到。对于获取样本点云中每个点的特征向量以及初始点云神经网络对特征向量的处理过程，可以参见上述实施例的描述，在此不再赘述。
S402，根据预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失；关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，指示函数用于表征当第一点属于第一冠脉子段且第一点预设距离内的点属于第二冠脉子段时的取值。
具体地，在对点云神经网络进行训练时，除了使用上述的冠脉分段金标准供网络学习之外，本实施例还提供另一种损失函数用于点云神经网络的训练，即根据预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失。其中，关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，指示函数用于表征当第一点属于第一冠脉子段且第一点预设距离内的点属于第二冠脉子段时的取值，那么通过该关系矩阵和指示函数可以获知一个点与周围点的关联关系。需要说明的是，第一冠脉子段的点预设距离内的点，可以为以第一冠脉子段的点为圆心(或球心)，一定半径以内的点；或者是与第一冠脉子段的点距离最近的若干个点。
可选地，计算机设备可以根据包含的关系式，计算上述第一损失；其中，N为样本点云中点的个数；/>为指示函数，当第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段时，/>的取值为1，否则/>的取值为0；Pi k为预测冠脉分段概率图，表示第k个点属于第i冠脉子段的概率；/>表示预测冠脉分段概率图中，第k个点预设距离内的第m个点属于第j冠脉子段的概率；Rij为关系矩阵，/>rij表示第i冠脉子段的点预设距离内存在第j冠脉子段的点的概率，H表示冠脉子段的个数(按照分段标准一般为18段)；/>表示第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段的概率。
S403，计算预测冠脉分段概率图和冠脉分段金标准之间的第二损失，根据第一损失和第二损失对初始点云神经网络进行训练，得到上述点云神经网络。
具体地，计算机设备还可以计算预测冠脉分段概率图和冠脉分段金标准之间的第二损失，可选地，可以采用交叉熵损失函数计算该第二损失。然后，根据第一损失和第二损失对初始点云神经网络进行训练，可选地，计算机设备可以对第一损失和第二损失进行加权、直接求和或者求平均等方式，对该初始点云神经网络进行训练，得到上述点云神经网络。
本实施例中，在对点云神经网络训练时，除了考虑预测冠脉分段概率图和冠脉分段金标准之间的损失，还考虑了点云中一个点与周围点关联关系带来的损失。因考虑了点与点之间的关联关系，其能够极大的避免不合理的和小区域的错分段情况，大大提高了训练得到的点云神经网络的精度，进一步提高冠脉分段结果的准确性。
应该理解的是，虽然图3-图6的流程图中各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种冠脉分段装置，包括：分割模块21、点云采样模块22、计算模块23和分段模块24。
具体地，分割模块21，用于将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模。
点云采样模块22，用于对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标。
计算模块23，用于根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量。
分段模块24，用于将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
本实施例提供的冠脉分段装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，心脏分割结果包括心房区域、心室区域和主动脉区域；计算模块23，具体用于针对每个点，根据点的位置坐标和心房区域、以及根据点的位置坐标和心室区域，确定点的位置特征矢量；根据点的位置坐标、主动脉区域和冠脉二值化掩模，确定点的几何形态矢量；将点的位置坐标、位置特征矢量和几何形态矢量，作为点对应的特征向量。
在一个实施例中，计算模块23，具体用于分别从心房区域和心室区域中确定出心房质心坐标、心室质心坐标、以及室间沟区域和房室沟区域；根据点的位置坐标和心房质心坐标，计算点与心房质心之间的第一距离矢量，以及根据点的位置坐标和心室质心坐标，计算点与心室质心之间的第二距离矢量；根据点的位置坐标与室间沟区域，计算点到室间沟的第一最短距离矢量，以及根据点的位置坐标与房室沟区域，计算点到房室沟的第二最短距离矢量；将第一距离矢量、第二距离矢量、第一最短距离矢量和第二最短距离矢量作为点的位置特征矢量。
在一个实施例中，计算模块23，具体用于对冠脉二值化掩模提取冠脉中心线，并根据主动脉区域确定冠脉起始点；从冠脉起始点开始遍历冠脉中心线，得到有序的中心线；根据点的位置坐标和有序的中心线，确定有序的中心线上与点距离最短的中心点，将中心点处的方向向量作为点的几何形态矢量。
在一个实施例中，分段模块24，具体用于将每个点对应的特征向量输入点云神经网络中，输出冠脉分段概率图，冠脉分段概率图包括每个点属于不同冠脉子段的概率；根据冠脉分段概率图和预设阈值，确定冠脉分段概率图中每个冠脉子段的最大连通域；根据每个冠脉子段的最大连通域，确定冠脉分段结果。
在一个实施例中，如图8所示，上述装置还包括训练模块25，用于获取样本点云中每个点的特征向量，输入初始点云神经网络中，输出预测冠脉分段概率图；预测冠脉分段概率图包括每个点属于不同冠脉子段的概率；根据预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失；关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，指示函数用于表征当第一点属于第一冠脉子段且第一点预设距离内的点属于第二冠脉子段时的取值；计算预测冠脉分段概率图和冠脉分段金标准之间的第二损失，根据第一损失和第二损失对初始点云神经网络进行训练，得到点云神经网络。
本实施例提供的冠脉分段装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，训练模块25，具体用于根据包含的关系式，计算第一损失；其中，N为样本点云中点的个数；/>为指示函数，当第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段时，/>的取值为1，否则/>的取值为0；Pi k为预测冠脉分段概率图，表示第k个点属于第i冠脉子段的概率；/>表示预测冠脉分段概率图中，第k个点预设距离内的第m个点属于第j冠脉子段的概率；Rij为关系矩阵，/>rij表示第i冠脉子段的点预设距离内存在第j冠脉子段的点的概率，H表示冠脉子段的个数；表示第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段的概率。
关于冠脉分段装置的具体限定可以参见上文中对于冠脉分段方法的限定，在此不再赘述。上述冠脉分段装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图2所示，提供了一种图像处理系统，包括医学影像设备11和计算机设备12；
医学影像设备11用于采集受测对象的心脏冠脉图像，并发送至计算机设备12；
计算机设备12包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
在一个实施例中，心脏分割结果包括心房区域、心室区域和主动脉区域；处理器执行计算机程序时还实现以下步骤：
针对每个点，根据点的位置坐标和心房区域、以及根据点的位置坐标和心室区域，确定点的位置特征矢量；
根据点的位置坐标、主动脉区域和冠脉二值化掩模，确定点的几何形态矢量；
将点的位置坐标、位置特征矢量和几何形态矢量，作为点对应的特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别从心房区域和心室区域中确定出心房质心坐标、心室质心坐标、以及室间沟区域和房室沟区域；
根据点的位置坐标和心房质心坐标，计算点与心房质心之间的第一距离矢量，以及根据点的位置坐标和心室质心坐标，计算点与心室质心之间的第二距离矢量；
根据点的位置坐标与室间沟区域，计算点到室间沟的第一最短距离矢量，以及根据点的位置坐标与房室沟区域，计算点到房室沟的第二最短距离矢量；
将第一距离矢量、第二距离矢量、第一最短距离矢量和第二最短距离矢量作为点的位置特征矢量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对冠脉二值化掩模提取冠脉中心线，并根据主动脉区域确定冠脉起始点；
从冠脉起始点开始遍历冠脉中心线，得到有序的中心线；
根据点的位置坐标和有序的中心线，确定有序的中心线上与点距离最短的中心点，将中心点处的方向向量作为点的几何形态矢量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将每个点对应的特征向量输入点云神经网络中，输出冠脉分段概率图，冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据冠脉分段概率图和预设阈值，确定冠脉分段概率图中每个冠脉子段的最大连通域；
根据每个冠脉子段的最大连通域，确定冠脉分段结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取样本点云中每个点的特征向量，输入初始点云神经网络中，输出预测冠脉分段概率图；预测冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失；关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，指示函数用于表征当第一点属于第一冠脉子段且第一点预设距离内的点属于第二冠脉子段时的取值；
计算预测冠脉分段概率图和冠脉分段金标准之间的第二损失，根据第一损失和第二损失对初始点云神经网络进行训练，得到点云神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据包含的关系式，计算第一损失；/>
其中，N为样本点云中点的个数；为指示函数，当第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段时，/>的取值为1，否则/>的取值为0；Pi k为预测冠脉分段概率图，表示第k个点属于第i冠脉子段的概率；/>表示预测冠脉分段概率图中，第k个点预设距离内的第m个点属于第j冠脉子段的概率；Rij为关系矩阵，rij表示第i冠脉子段的点预设距离内存在第j冠脉子段的点的概率，H表示冠脉子段的个数；/>表示第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段的概率。
在一个实施例中，上述计算机设备的内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种冠脉分段方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对冠脉二值化掩模进行点云化，得到冠脉二值化掩模对应的点云；该点云包括每个点的位置坐标；
根据点云、心脏分割结果和冠脉二值化掩模，计算点云中每个点对应的特征向量；
将每个点对应的特征向量输入点云神经网络中，得到心脏冠脉图像的冠脉分段结果。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，心脏分割结果包括心房区域、心室区域和主动脉区域；计算机程序被处理器执行时还实现以下步骤：
针对每个点，根据点的位置坐标和心房区域、以及根据点的位置坐标和心室区域，确定点的位置特征矢量；
根据点的位置坐标、主动脉区域和冠脉二值化掩模，确定点的几何形态矢量；
将点的位置坐标、位置特征矢量和几何形态矢量，作为点对应的特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别从心房区域和心室区域中确定出心房质心坐标、心室质心坐标、以及室间沟区域和房室沟区域；
根据点的位置坐标和心房质心坐标，计算点与心房质心之间的第一距离矢量，以及根据点的位置坐标和心室质心坐标，计算点与心室质心之间的第二距离矢量；
根据点的位置坐标与室间沟区域，计算点到室间沟的第一最短距离矢量，以及根据点的位置坐标与房室沟区域，计算点到房室沟的第二最短距离矢量；
将第一距离矢量、第二距离矢量、第一最短距离矢量和第二最短距离矢量作为点的位置特征矢量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对冠脉二值化掩模提取冠脉中心线，并根据主动脉区域确定冠脉起始点；
从冠脉起始点开始遍历冠脉中心线，得到有序的中心线；
根据点的位置坐标和有序的中心线，确定有序的中心线上与点距离最短的中心点，将中心点处的方向向量作为点的几何形态矢量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将每个点对应的特征向量输入点云神经网络中，输出冠脉分段概率图，冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据冠脉分段概率图和预设阈值，确定冠脉分段概率图中每个冠脉子段的最大连通域；
根据每个冠脉子段的最大连通域，确定冠脉分段结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取样本点云中每个点的特征向量，输入初始点云神经网络中，输出预测冠脉分段概率图；预测冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失；关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，指示函数用于表征当第一点属于第一冠脉子段且第一点预设距离内的点属于第二冠脉子段时的取值；
计算预测冠脉分段概率图和冠脉分段金标准之间的第二损失，根据第一损失和第二损失对初始点云神经网络进行训练，得到点云神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据包含的关系式，计算第一损失；
其中，N为样本点云中点的个数；为指示函数，当第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段时，/>的取值为1，否则/>的取值为0；Pi k为预测冠脉分段概率图，表示第k个点属于第i冠脉子段的概率；/>表示预测冠脉分段概率图中，第k个点预设距离内的第m个点属于第j冠脉子段的概率；Rij为关系矩阵，rij表示第i冠脉子段的点预设距离内存在第j冠脉子段的点的概率，H表示冠脉子段的个数；/>表示第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段的概率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种冠脉分段方法，其特征在于，所述方法包括：
将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
对所述冠脉二值化掩模进行点云化，得到所述冠脉二值化掩模对应的点云；所述点云包括每个点的位置坐标；所述每个点的位置坐标和所述心脏分割结果的各结构区域具有相对位置关系；
根据所述点云中每个点的位置坐标、所述点云中每个点的位置坐标和所述心脏分割结果的各结构区域的相对位置关系，以及所述每个点的形态特征，计算所述点云中每个点对应的特征向量；其中，所述每个点的形态特征是根据冠脉二值化掩模得到的冠脉各段血管本身的形态特征确定的；
将所述每个点对应的特征向量输入点云神经网络中，得到所述心脏冠脉图像的冠脉分段结果。
2.根据权利要求1所述的方法，其特征在于，所述心脏分割结果包括心房区域、心室区域和主动脉区域；所述根据所述点云中每个点的位置坐标、所述点云中每个点的位置坐标和所述心脏分割结果的各结构区域的相对位置关系，以及所述每个点的形态特征，计算所述点云中每个点对应的特征向量，包括：
针对所述每个点，根据所述点的位置坐标和所述心房区域、以及根据所述点的位置坐标和所述心室区域，确定所述点的位置特征矢量；
根据所述点的位置坐标、所述主动脉区域和所述冠脉二值化掩模，确定所述点的几何形态矢量；所述几何形态矢量为有序的中心线的方向向量；所述有序的中心线根据冠脉左右两大段的起始点遍历整个所述冠脉二值化掩模提取的冠脉中心线得到的；所述冠脉左右两大段的起始点根据心脏的主动脉分割结果得到；
将所述点的位置坐标、位置特征矢量和几何形态矢量，作为所述点对应的特征向量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述点的位置坐标和所述心房区域、以及所述点的位置坐标和所述心室区域，确定所述点的位置特征矢量，包括：
分别从所述心房区域和所述心室区域中确定出心房质心坐标、心室质心坐标、以及室间沟区域和房室沟区域；
根据所述点的位置坐标和所述心房质心坐标，计算所述点与心房质心之间的第一距离矢量，以及根据所述点的位置坐标和所述心室质心坐标，计算所述点与心室质心之间的第二距离矢量；
根据所述点的位置坐标与所述室间沟区域，计算所述点到室间沟的第一最短距离矢量，以及根据所述点的位置坐标与所述房室沟区域，计算所述点到房室沟的第二最短距离矢量；
将所述第一距离矢量、所述第二距离矢量、所述第一最短距离矢量和所述第二最短距离矢量作为所述点的位置特征矢量。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述点的位置坐标、所述主动脉区域和所述冠脉二值化掩模，确定所述点的几何形态矢量，包括：
对所述冠脉二值化掩模提取冠脉中心线，并根据所述主动脉区域确定冠脉起始点；
从所述冠脉起始点开始遍历所述冠脉中心线，得到有序的中心线；
根据所述点的位置坐标和所述有序的中心线，确定所述有序的中心线上与所述点距离最短的中心点，将所述中心点处的方向向量作为所述点的几何形态矢量。
5.根据权利要求1所述的方法，其特征在于，所述将所述每个点对应的特征向量输入点云神经网络中，得到所述心脏冠脉图像的冠脉分段结果，包括：
将所述每个点对应的特征向量输入所述点云神经网络中，输出冠脉分段概率图，所述冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据所述冠脉分段概率图和预设阈值，确定所述冠脉分段概率图中每个冠脉子段的最大连通域；
根据每个冠脉子段的最大连通域，确定所述冠脉分段结果。
6.根据权利要求1所述的方法，其特征在于，所述点云神经网络的训练方法包括：
获取样本点云中每个点的特征向量，输入初始点云神经网络中，输出预测冠脉分段概率图；所述预测冠脉分段概率图包括每个点属于不同冠脉子段的概率；
根据所述预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失；所述关系矩阵用于表征第一冠脉子段的点预设距离内存在第二冠脉子段的点的概率，所述指示函数用于表征当第一点属于第一冠脉子段且所述第一点预设距离内的点属于第二冠脉子段时的取值；
计算所述预测冠脉分段概率图和冠脉分段金标准之间的第二损失，根据所述第一损失和所述第二损失对所述初始点云神经网络进行训练，得到所述点云神经网络。
7.根据权利要求6所述的方法，其特征在于，所述根据所述预测冠脉分段概率图、预设的关系矩阵以及预设的指示函数，计算第一损失，包括：
根据包含的关系式，计算所述第一损失；
其中，所述N为所述样本点云中点的个数；所述为所述指示函数，当第k个点属于第i冠脉子段且所述第k个点预设距离内的第m个点属于第j冠脉子段时，所述/>的取值为1，否则/>的取值为0；所述/>为所述预测冠脉分段概率图，表示第k个点属于第i冠脉子段的概率；所述/>表示所述预测冠脉分段概率图中，第k个点预设距离内的第m个点属于第j冠脉子段的概率；所述Rij为所述关系矩阵，/>所述rij表示第i冠脉子段的点预设距离内存在第j冠脉子段的点的概率，所述H表示冠脉子段的个数；所述/>表示第k个点属于第i冠脉子段且第k个点预设距离内的第m个点属于第j冠脉子段的概率。
8.一种冠脉分段装置，其特征在于，所述装置包括：
分割模块，用于将待分段的心脏冠脉图像分别进行心脏分割和冠脉分割，得到心脏分割结果和冠脉二值化掩模；
点云采样模块，用于对所述冠脉二值化掩模进行点云化，得到所述冠脉二值化掩模对应的点云；所述点云包括每个点的位置坐标；所述每个点的位置坐标和所述心脏分割结果的各结构区域具有相对位置关系；
计算模块，用于根据所述点云中每个点的位置坐标、所述点云中每个点的位置坐标和所述心脏分割结果的各结构区域的相对位置关系，以及所述每个点的形态特征，计算所述点云中每个点对应的特征向量；其中，所述每个点的形态特征是根据冠脉二值化掩模得到的冠脉各段血管本身的形态特征确定的；
分段模块，用于将所述每个点对应的特征向量输入点云神经网络中，得到所述心脏冠脉图像的冠脉分段结果。
9.一种图像处理系统，其特征在于，包括医学影像设备和计算机设备；
所述医学影像设备用于采集受测对象的心脏冠脉图像，并发送至所述计算机设备；
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010140323.6A CN111292314B (zh) | 2020-03-03 | 2020-03-03 | 冠脉分段方法、装置、图像处理系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010140323.6A CN111292314B (zh) | 2020-03-03 | 2020-03-03 | 冠脉分段方法、装置、图像处理系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292314A CN111292314A (zh) | 2020-06-16 |
| CN111292314B true CN111292314B (zh) | 2024-05-24 |
Family
ID=71029398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010140323.6A Active CN111292314B (zh) | 2020-03-03 | 2020-03-03 | 冠脉分段方法、装置、图像处理系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292314B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932497B (zh) * | 2020-06-30 | 2021-02-09 | 数坤（北京）网络科技有限公司 | 一种冠状动脉识别方法及装置 |
| CN112017176B (zh) * | 2020-09-08 | 2024-08-09 | 杭州深睿博联科技有限公司 | 一种心脏冠脉血管的自动化命名方法及装置 |
| CN112418299B (zh) * | 2020-11-19 | 2021-10-26 | 推想医疗科技股份有限公司 | 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置 |
| CN112700421B (zh) * | 2021-01-04 | 2022-03-25 | 推想医疗科技股份有限公司 | 冠脉图像分类方法及装置 |
| CN113409323B (zh) * | 2021-06-18 | 2022-03-08 | 推想医疗科技股份有限公司 | 冠脉分段方法及装置、计算机可读存储介质及电子设备 |
| CN114418947B (zh) * | 2021-12-16 | 2023-11-03 | 深圳市阅影科技有限公司 | 心脏冠脉血管的命名方法及装置 |
| WO2023125969A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for bypass vessel reconstruction |
| CN114266791A (zh) * | 2021-12-31 | 2022-04-01 | 上海联影智能医疗科技有限公司 | 搭桥重建方法及计算机设备 |
| CN114049282B (zh) * | 2022-01-07 | 2022-05-24 | 浙江大学 | 一种冠状动脉的构建方法、装置、终端及存储介质 |
| CN114445391B (zh) * | 2022-01-30 | 2022-10-28 | 推想医疗科技股份有限公司 | 血管分段方法及其装置、电子设备和计算机可读存储介质 |
| CN115953495B (zh) * | 2023-03-14 | 2023-08-01 | 北京唯迈医疗设备有限公司 | 基于二维造影图像的智能路径规划装置、系统和存储介质 |
| CN117058328B (zh) * | 2023-10-11 | 2024-01-09 | 杭州脉流科技有限公司 | 冠状动脉血管树分级方法、设备、存储介质和程序产品 |
| CN118172362B (zh) * | 2024-05-14 | 2024-08-16 | 柏意慧心(杭州)网络科技有限公司 | 心脏冠脉血管分段命名方法、装置、设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140015984A (ko) * | 2012-07-27 | 2014-02-07 | 삼성전자주식회사 | 필요 혈류량 결정 방법 및 장치, 혈류 영상 생성 방법 및 장치, 심근 관류 영상 처리 방법 및 장치 |
| CN104091346A (zh) * | 2014-07-24 | 2014-10-08 | 东南大学 | 一种全自动ct图像冠状动脉钙化分数计算方法 |
| CN104282009A (zh) * | 2013-07-02 | 2015-01-14 | 上海联影医疗科技有限公司 | 一种冠脉的提取方法 |
| CN106097298A (zh) * | 2016-05-27 | 2016-11-09 | 中国人民解放军第三军医大学 | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 |
| CN108010041A (zh) * | 2017-12-22 | 2018-05-08 | 数坤（北京）网络科技有限公司 | 基于深度学习神经网络级联模型的人体心脏冠脉提取方法 |
| CN108475428A (zh) * | 2015-12-22 | 2018-08-31 | 皇家飞利浦有限公司 | 心脏模型引导的冠状动脉分割 |
| CN108717695A (zh) * | 2018-04-25 | 2018-10-30 | 数坤（北京）网络科技有限公司 | 心脏冠脉血管自动分段命名方法 |
| CN108898606A (zh) * | 2018-06-20 | 2018-11-27 | 中南民族大学 | 医学图像的自动分割方法、系统、设备及存储介质 |
| CN108992057A (zh) * | 2018-06-05 | 2018-12-14 | 杭州晟视科技有限公司 | 一种确定冠状动脉血流储备分数ffr的方法和装置 |
| CN109389606A (zh) * | 2018-09-30 | 2019-02-26 | 数坤（北京）网络科技有限公司 | 一种冠状动脉分割方法及装置 |
| CN109712163A (zh) * | 2018-12-05 | 2019-05-03 | 上海联影医疗科技有限公司 | 冠脉提取方法、装置、图像处理工作站和可读存储介质 |
| CN109801277A (zh) * | 2019-01-18 | 2019-05-24 | 浙江大学 | 一种图像处理方法及装置、存储介质 |
| CN110310256A (zh) * | 2019-05-30 | 2019-10-08 | 上海联影智能医疗科技有限公司 | 冠脉狭窄检测方法、装置、计算机设备和存储介质 |
| CN110458847A (zh) * | 2019-07-05 | 2019-11-15 | 心医国际数字医疗系统(大连)有限公司 | 基于cta影像的自动冠脉分割及中心线提取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7711165B2 (en) * | 2005-07-28 | 2010-05-04 | Siemens Medical Solutions Usa, Inc. | System and method for coronary artery segmentation of cardiac CT volumes |
| US9064300B2 (en) * | 2008-02-15 | 2015-06-23 | Siemens Aktiengesellshaft | Method and system for automatic determination of coronory supply regions |
-
2020
- 2020-03-03 CN CN202010140323.6A patent/CN111292314B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140015984A (ko) * | 2012-07-27 | 2014-02-07 | 삼성전자주식회사 | 필요 혈류량 결정 방법 및 장치, 혈류 영상 생성 방법 및 장치, 심근 관류 영상 처리 방법 및 장치 |
| CN104282009A (zh) * | 2013-07-02 | 2015-01-14 | 上海联影医疗科技有限公司 | 一种冠脉的提取方法 |
| CN104091346A (zh) * | 2014-07-24 | 2014-10-08 | 东南大学 | 一种全自动ct图像冠状动脉钙化分数计算方法 |
| CN108475428A (zh) * | 2015-12-22 | 2018-08-31 | 皇家飞利浦有限公司 | 心脏模型引导的冠状动脉分割 |
| CN106097298A (zh) * | 2016-05-27 | 2016-11-09 | 中国人民解放军第三军医大学 | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 |
| CN108010041A (zh) * | 2017-12-22 | 2018-05-08 | 数坤（北京）网络科技有限公司 | 基于深度学习神经网络级联模型的人体心脏冠脉提取方法 |
| CN108717695A (zh) * | 2018-04-25 | 2018-10-30 | 数坤（北京）网络科技有限公司 | 心脏冠脉血管自动分段命名方法 |
| CN108992057A (zh) * | 2018-06-05 | 2018-12-14 | 杭州晟视科技有限公司 | 一种确定冠状动脉血流储备分数ffr的方法和装置 |
| CN108898606A (zh) * | 2018-06-20 | 2018-11-27 | 中南民族大学 | 医学图像的自动分割方法、系统、设备及存储介质 |
| CN109389606A (zh) * | 2018-09-30 | 2019-02-26 | 数坤（北京）网络科技有限公司 | 一种冠状动脉分割方法及装置 |
| CN109712163A (zh) * | 2018-12-05 | 2019-05-03 | 上海联影医疗科技有限公司 | 冠脉提取方法、装置、图像处理工作站和可读存储介质 |
| CN109801277A (zh) * | 2019-01-18 | 2019-05-24 | 浙江大学 | 一种图像处理方法及装置、存储介质 |
| CN110310256A (zh) * | 2019-05-30 | 2019-10-08 | 上海联影智能医疗科技有限公司 | 冠脉狭窄检测方法、装置、计算机设备和存储介质 |
| CN110458847A (zh) * | 2019-07-05 | 2019-11-15 | 心医国际数字医疗系统(大连)有限公司 | 基于cta影像的自动冠脉分割及中心线提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| Muhammad Ahsan Ansari et al.Automatic segmentation of coronary arteries from computed tomography angiography data cloud using optimal thresholding.《Optical Engineering》.2017,第56卷(第1期),第1-8页. * |
| P. Mirunalini et al.Segmentation of Coronary Arteries from CTA axial slices using Deep Learning techniques.《TENCON 2019 - 2019 IEEE Region 10 Conference》.2019,第2074-2080页. * |
| 刘敏等.多阶段冠状动脉CTA 三维分割算法.《信号处理》.2019,第35卷(第11期),第1911-1918页. * |
| 杨阳.冠脉造影图像的血管结构识别研究.《中国优秀硕士学位论文全文数据库医药卫生科技辑》.2018,第2018卷(第7期),E062-18. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292314A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292314B (zh) | 冠脉分段方法、装置、图像处理系统和存储介质 | |
| CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理系统 | |
| CN111369525B (zh) | 图像分析方法、设备和存储介质 | |
| CN111369542B (zh) | 血管标记方法、图像处理系统和存储介质 | |
| CN109272510B (zh) | 一种三维医学图像中管状结构的分割方法 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| CN111709485B (zh) | 医学影像处理方法、装置和计算机设备 | |
| CN111383259B (zh) | 图像分析方法、计算机设备和存储介质 | |
| CN110717905B (zh) | 脑部图像检测方法、计算机设备和存储介质 | |
| CN112861961B (zh) | 肺血管分类方法及装置、存储介质及电子设备 | |
| CN109712163B (zh) | 冠脉提取方法、装置、图像处理工作站和可读存储介质 | |
| US11972571B2 (en) | Method for image segmentation, method for training image segmentation model | |
| CN112037146B (zh) | 医学图像伪影自动校正方法、装置和计算机设备 | |
| CN109727197B (zh) | 一种医学图像超分辨率重建方法 | |
| CN111260701B (zh) | 多模态视网膜眼底图像配准方法及装置 | |
| CN113538471B (zh) | 斑块的分割方法、装置、计算机设备和存储介质 | |
| CN112151179A (zh) | 影像数据评估方法、装置、设备及存储介质 | |
| CN111340209A (zh) | 网络模型训练方法、图像分割方法、病灶定位方法 | |
| CN114037663A (zh) | 一种血管分割方法、装置及计算机可读介质 | |
| CN110751187A (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
| CN116051738A (zh) | 基于cta影像的冠状动脉血管模型重构的方法和可读存储介质 | |
| CN113129418B (zh) | 基于三维影像的目标表面重建方法、装置、设备和介质 | |
| CN111312374A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN108597589B (zh) | 模型生成方法、目标检测方法及医学成像系统 | |
| CN113192031B (zh) | 血管分析方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |