CN116993812A - 冠脉血管中心线的提取方法、装置、设备及存储介质 - Google Patents
冠脉血管中心线的提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116993812A CN116993812A CN202310848332.4A CN202310848332A CN116993812A CN 116993812 A CN116993812 A CN 116993812A CN 202310848332 A CN202310848332 A CN 202310848332A CN 116993812 A CN116993812 A CN 116993812A
- Authority
- CN
- China
- Prior art keywords
- coronary
- image
- point
- target
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims description 153
- 238000000605 extraction Methods 0.000 title claims description 28
- 238000005070 sampling Methods 0.000 claims abstract description 134
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims description 35
- 210000004204 blood vessel Anatomy 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学图像处理技术领域，公开了一种冠脉血管中心线的提取方法、装置、设备及存储介质。该方法包括：根据第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图，确定第一冠脉的第一中心线；将第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；基于N个采样点以及对应的方向向量，确定N个采样点的图像截取图；将N个采样点的图像截取图输入至目标CNN卷积神经网络，得到高维特征数据；将高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；基于第一中心线以及偏移量，得到第二中心线。能够优化第一中心线，得到第二中心线。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种冠脉血管中心线的提取方法、装置、设备及存储介质。
背景技术
心血管疾病已构成威胁人类生命安全的主要疾病之一，在临床中，医生需要重建冠脉血管进行诊断各种血管疾病，若实现自动化、智能化的技术手段重要的一个环节是需要精准地提取冠脉血管中心线，也是冠脉分析的基础。然而，现有的方法在比较特殊的管腔位置如分叉、病变等位置提取的中心线效果不佳。
发明内容
本发明的主要目的在于提供一种冠脉血管中心线的提取方法、装置、设备及存储介质，旨在解决现有技术中在比较特殊的管腔位置提取的中心线效果不佳的技术问题。
为实现上述目的，本发明提供了一种冠脉血管中心线的提取方法，所述方法包括以下步骤：
基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；
根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；
将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；
基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；
将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；
将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；
基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
可选地，所述基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图，包括：
根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像；
将所述冠脉粗分割图像输入至第一卷积神经网络中，得到所述第一冠脉的冠脉起点；
将所述冠脉粗分割图像输入至第二卷积神经网络中，得到所述第一冠脉的冠脉末端端点；
将所述冠脉粗分割图像输入至第三卷积神经网络中，得到所述第一冠脉的中心距离强度图。
可选地，所述根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像，包括：
将所述三维冠脉影像输入至第四卷积神经网络中，得到所述第一冠脉的冠脉粗分割图像；或，
采用Frangi滤波的图像处理方式对所述三维冠脉影像做处理，得到所述第一冠脉的冠脉粗分割图像。
可选地，所述基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图，包括：
确定各采样点的目标平面，其中，所述目标平面的法向量为采样点在子中心线切线上对应的方向向量，所述采样点在所述目标平面上；
利用各采样点的目标平面分别对所述三维血管影像进行截取，得到N个采样点的图像截取图。
可选地，所述将所述N个采样点的图像截取图输入至目标CNN卷积神经网络之前，还包括：
基于第二冠脉的三维血管影像，确定第一目标中心点的图像截取图，其中，所述第一目标中线点为所述第二冠脉的第一中心线上的点；
将所述第一目标中心点输入至CNN卷积神经网络以及Transformer网络中，得到所述第一目标中心点的预测偏移量；
确定第一目标中心点与标注中心点的标注偏移量，其中，所述标注中心点为标注中心线上的点；
基于所述预测偏移量以及所述标注偏移量，更新所述CNN卷积神经网络以及Transformer网络，得到目标CNN卷积神经网络以及目标Transformer网络。
可选地，所述将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量，包括：
将所述大小为N*H*W*C的高维特征数据转化为目标数据，其中，所述目标数据为将所述高维特征数据转化为N个采样点的图像截取图的特征数据；
将所述目标数据输入至目标Transformer网络，得到各采样点对应的偏移量。
可选地，基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线，包括：
确定所述第一中心线上的第一中心点，其中，所述第一中心点为所述第一中心线中各采样点的坐标；
基于所述第一中心点以及所述各采样点对应的偏移量，得到第二中心点；
通过样条插值法对所述第二中心点进行处理，得到第二中心线。
此外，为实现上述目的，本发明还提出一种冠脉血管中心线的提取装置，所述冠脉血管中心线的提取装置包括：
确定模块，用于基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；
所述确定模块，还用于根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；
采样模块，用于将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；
所述确定模块，还用于基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；
所述确定模块，还用于将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；
所述确定模块，还用于将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；
所述确定模块，还用于基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
此外，为实现上述目的，本发明还提出一种冠脉血管中心线的提取设备，所述冠脉血管中心线的提取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的冠脉血管中心线的提取程序，所述冠脉血管中心线的提取程序配置为实现如上文所述的冠脉血管中心线的提取方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有冠脉血管中心线的提取程序，所述冠脉血管中心线的提取程序被处理器执行时实现如上文所述的冠脉血管中心线的提取方法的步骤。
本发明提出的冠脉血管中心线的提取方法、装置、设备及存储介质，通过基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。通过上述方式，通过序列网络来根据冠脉血管中心线中定位难点地方的前后图像的连续性来预测中心点的偏移量，再结合第一中心线和预测中心点的偏移量，能够优化第一中心线，得到更精准的冠脉血管中心线。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的冠脉血管中心线的提取设备的结构示意图；
图2为本发明冠脉血管中心线的提取方法第一实施例的流程示意图；
图3为本发明冠脉血管中心线的提取方法第一实施例中生成偏移量的流程示意图；
图4a为本发明冠脉血管中心线的提取方法第一实施例中第一中心线的显示示意图；
图4b为本发明冠脉血管中心线的提取方法第一实施例中第二中心线的显示示意图；
图5为本发明冠脉血管中心线的提取方法第二实施例的流程示意图；
图6为本发明冠脉血管中心线的提取装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的冠脉血管中心线的提取设备结构示意图。
如图1所示，该冠脉血管中心线的提取设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对冠脉血管中心线的提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及冠脉血管中心线的提取程序。
在图1所示的冠脉血管中心线的提取设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明冠脉血管中心线的提取设备中的处理器1001、存储器1005可以设置在冠脉血管中心线的提取设备中，所述冠脉血管中心线的提取设备通过处理器1001调用存储器1005中存储的冠脉血管中心线的提取程序，并执行本发明实施例提供的冠脉血管中心线的提取方法。
基于上述硬件结构，提出本发明冠脉血管中心线的提取方法实施例。
参照图2，图2为本发明一种冠脉血管中心线的提取方法第一实施例的流程示意图。
本实施例中，所述冠脉血管中心线的提取方法包括以下步骤：
步骤S10：基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图。
需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述功能的电子设备或冠脉血管中心线的提取设备。以下以所述冠脉血管中心线的提取设备为例，对本实施例及下述各实施例进行说明。
需要说明的是，三维血管影像包括CT、MR图像；距离强度图指的是第一冠脉分割的距离强度图，该距离强度图的特征为距离血管中心位置越近的值越低。
步骤S20：根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线。
在具体实现中，可以基于minimal-path(最小路径)算法得到第一冠脉的第一中心线。
可以理解的是，第一中心线是初步提取出来的冠脉血管中心线，当冠脉在分叉位置或者分割位置有黏连时，第一中心线的效果不佳(即第一中心线与实际冠脉中心线的偏差较大)。
在一实施例中，所述基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图，包括：
根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像；
将所述冠脉粗分割图像输入至第一卷积神经网络中，得到所述第一冠脉的冠脉起点；
将所述冠脉粗分割图像输入至第二卷积神经网络中，得到所述第一冠脉的冠脉末端端点；
将所述冠脉粗分割图像输入至第三卷积神经网络中，得到所述第一冠脉的中心距离强度图。
需要说明的是，冠脉粗分割图像是对三维冠脉影像进行冠脉分割处理后得到的图像，冠脉粗分割图像中包含有三维冠脉影像中的全部冠脉。
可以理解的是，第一卷积神经网络、第二卷积神经网络以及第三卷积神经网络都是已经训练好的卷积神经网络。
在具体实现中，已经训练好的第一卷积神经网络的训练过程具体为：将若干经过人工标注冠脉起点的冠脉粗分割图像输入到初始卷积神经网络中，得到预测冠脉起点，不断地将人工标注的冠脉起点与预测到的冠脉起点进行对比，再将对比得到的差异不断地反馈至初始卷积神经网络，从而实现迭代地更新卷积神经网络，得到训练好的卷积神经网络即第一卷积神经网络，可以通过第一卷积神经网络来检测冠脉粗分割图像中的冠脉起点。
在具体实现中，已经训练好的第二卷积神经网络的训练过程具体为：将若干经过人工标注冠脉末端端点的冠脉粗分割图像输入到初始卷积神经网络中，得到预测冠脉起点，不断地将人工标注的冠脉起点与预测到的冠脉末端端点进行对比，再将对比得到的差异不断地反馈至初始卷积神经网络，从而实现迭代地更新卷积神经网络，得到训练好的卷积神经网络即第二卷积神经网络，可以通过第二卷积神经网络来检测冠脉粗分割图像中的冠脉末端端点。
在具体实现中，还可以通过图像处理方法来获取三维血管影像中的冠脉起点，还可以通过前波传导(region grow)的方法来获取三维血管影像中的冠脉末端端点。
在一实施例中，所述根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像，包括：
将所述三维冠脉影像输入至第四卷积神经网络中，得到所述第一冠脉的冠脉粗分割图像；或，
采用Frangi滤波的图像处理方式对所述三维冠脉影像做处理，得到所述第一冠脉的冠脉粗分割图像。
需要说明的是，第四卷积神经网络是训练好的卷积神经网络。
步骤S30：将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量。
步骤S40：基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图。
在一实施例中，所述基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图，包括：
确定各采样点的目标平面，其中，所述目标平面的法向量为采样点在子中心线切线上对应的方向向量，所述采样点在所述目标平面上；
利用各采样点的目标平面分别对所述三维血管影像进行截取，得到N个采样点的图像截取图。
可以理解的是，每个采样点的目标平面不同，所以每个采样点的图像截取图不同。
步骤S50：将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数。
需要说明的是，目标CNN卷积神经网络是训练好的CNN卷积神经网络，CNN卷积神经网络可以是resnet以及densnet等网络。
需要说明的是，N>1。
需要说明的是，通过CNN卷积神经网络可以提取图像截取图的局部管腔特征，即实现自动化的冠脉管腔的局部特征提取。
步骤S60：将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量。
需要说明的是，目标Transformer网络是训练好的Transformer网络，Transformer网络可以是双向LSTM网络或者RNN等序列网络。
需要说明的是，Transformer网络具有并行的特征，将N个采样点对应的的高维特征同时输入到Transformer网络中，可以学到冠脉血管前后的关系，特别是冠脉血管中病变、狭窄、分叉位置等位置，Transformer网络能够充分学习到前后血管解剖结构的连续性，当单帧图像的冠脉血管中存在病变位置、分叉位置时，仅从单帧图像识别出中心点比较困难，基于序列网络(即Transformer网络)能够通过血管中心线定位难点地方的前后图像的连续性来更好预测中心点的精准位置。
需要说明的是，由于每个点的CNN特征是没有关联，通过将N个点的高维特征输入Transformer网络中，利用Transformer的全局特征的相关性的优势，可以学到N个采样点的横切图的在空间上的连续性。
在具体实现中，如图3所示，采样点的图像截取图先是输入到目标CNN卷积神经网络中得到高维特征，再将高维特征输入至目标Transformer网络中得到采样点的偏移量。
在一实施例中，所述将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量，包括：
将所述大小为N*H*W*C的高维特征数据转化为目标数据，其中，所述目标数据为将所述高维特征数据转化为N个采样点的图像截取图的特征数据；
将所述目标数据输入至目标Transformer网络，得到各采样点对应的偏移量。
需要说明的是，目标数据指的是(N,H*W*C)数据。
在具体实现中，需要将目标CNN卷积神经网络输出的N*H*W*C的高维特征数据进行维度变换，得到(N,H*W*C)数据后，再将(N,H*W*C)数据输入至目标Transformer网络中，得到各采样点对应的偏移量。
步骤S70：基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
在具体实现中，图4a表示第一中心线，图4b表示第二中心线，从图4a以及图4b中可以看出，在冠脉的分叉位置，第二中心线相对与第一中心线更加准确。
在一实施例中，基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线，包括：
确定所述第一中心线上的第一中心点，其中，所述第一中心点为所述第一中心线中各采样点的坐标；
基于所述第一中心点以及所述各采样点对应的偏移量，得到第二中心点；
通过样条插值法对所述第二中心点进行处理，得到第二中心线。
需要说明的是，通过样条插值法对所述第二中心点进行处理指的是在第二中心点的基础上插补连续函数，使得这条连续曲线经过所有第二中心点，同时也估计出函数在其他点的近似值，从而得到第二中心线。
本实施例通过通过基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。通过上述方式，通过序列网络来根据冠脉血管中心线中定位难点地方的前后图像的连续性来预测中心点的偏移量，再结合第一中心线和预测中心点的偏移量，能够优化第一中心线，得到更精准的冠脉血管中心线。
参考图5，图5为本发明一种冠脉血管中心线的提取方法第二实施例的流程示意图。
基于上述第一实施例，本实施例冠脉血管中心线的提取方法在所述步骤S50之前，还包括：
步骤S401：基于第二冠脉的三维血管影像，确定第一目标中心点的图像截取图，其中，所述第一目标中线点为所述第二冠脉的第一中心线上的点。
需要说明的是，第二冠脉的三维血管影像不限于一张，第二冠脉的三维血管影像指的是用于训练CNN卷积神经网络以及Transformer网络的影像数据。
步骤S402：将所述第一目标中心点的图像截取图输入至CNN卷积神经网络以及Transformer网络中，得到所述第一目标中心点的预测偏移量。
步骤S403：确定第一目标中心点与标注中心点的标注偏移量，其中，所述标注中心点为标注中心线上的点。
需要说明的是，标注中心线是提前在第二冠脉的三维血管影像上标注出来的血管中心线。
步骤S404：基于所述预测偏移量以及所述标注偏移量，更新所述CNN卷积神经网络以及Transformer网络，得到目标CNN卷积神经网络以及目标Transformer网络。
在具体实现中，可根据所述预测偏移量以及所述实际偏移量确定损失值，再根据损失值更新所述CNN卷积神经网络以及Transformer网络的参数，得到目标CNN卷积神经网络以及目标Transformer网络，损失值的计算方式如下：
Loss＝sqrt((x-x0)^2+(y-y0)^2)
本实施例通过基于第二冠脉的三维血管影像，确定第一目标中心点的图像截取图，其中，所述第一目标中线点为所述第二冠脉的第一中心线上的点；将所述第一目标中心点的图像截取图输入至CNN卷积神经网络以及Transformer网络中，得到所述第一目标中心点的预测偏移量；确定第一目标中心点与标注中心点的标注偏移量，其中，所述标注中心点为标注中心线上的点；基于所述预测偏移量以及所述标注偏移量，更新所述CNN卷积神经网络以及Transformer网络，得到目标CNN卷积神经网络以及目标Transformer网络。通过上述方式，能够通过预测偏移量与标注偏移量来确定损失值之后再根据损失值来更新目标CNN卷积神经网络以及目标Transformer网络。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有冠脉血管中心线的提取程序，所述冠脉血管中心线的提取程序被处理器执行时实现如上文所述的冠脉血管中心线的提取方法的步骤。
参照图6，图6为本发明冠脉血管中心线的提取装置第一实施例的结构框图。
如图6所示，本发明实施例提出的冠脉血管中心线的提取装置包括：
确定模块10，用于基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图。
所述确定模块10，还用于根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线。
采样模块20，用于将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量。
所述确定模块10，还用于基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图。
所述确定模块10，还用于将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数。
所述确定模块10，还用于将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量。
所述确定模块10，还用于基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。通过上述方式，通过序列网络来根据冠脉血管中心线中定位难点地方的前后图像的连续性来预测中心点的偏移量，再结合第一中心线和预测中心点的偏移量，能够优化第一中心线，得到更精准的冠脉血管中心线。
在一实施例中，所述确定模块10，还用于：
根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像；
将所述冠脉粗分割图像输入至第一卷积神经网络中，得到所述第一冠脉的冠脉起点；
将所述冠脉粗分割图像输入至第二卷积神经网络中，得到所述第一冠脉的冠脉末端端点；
将所述冠脉粗分割图像输入至第三卷积神经网络中，得到所述第一冠脉的中心距离强度图。
在一实施例中，所述确定模块10，还用于：
将所述三维冠脉影像输入至第四卷积神经网络中，得到所述第一冠脉的冠脉粗分割图像；或，
采用Frangi滤波的图像处理方式对所述三维冠脉影像做处理，得到所述第一冠脉的冠脉粗分割图像。
在一实施例中，所述采样模块20，还用于：
确定各采样点的目标平面，其中，所述目标平面的法向量为采样点在子中心线切线上对应的方向向量，所述采样点在所述目标平面上；
利用各采样点的目标平面分别对所述三维血管影像进行截取，得到N个采样点的图像截取图。
在一实施例中，所述确定模块10，还用于：
基于第二冠脉的三维血管影像，确定第一目标中心点的图像截取图，其中，所述第一目标中线点为所述第二冠脉的第一中心线上的点；
将所述第一目标中心点输入至CNN卷积神经网络以及Transformer网络中，得到所述第一目标中心点的预测偏移量；
确定第一目标中心点与标注中心点的标注偏移量，其中，所述标注中心点为标注中心线上的点；
基于所述预测偏移量以及所述标注偏移量，更新所述CNN卷积神经网络以及Transformer网络，得到目标CNN卷积神经网络以及目标Transformer网络。
在一实施例中，所述确定模块10，还用于：
将所述大小为N*H*W*C的高维特征数据转化为目标数据，其中，所述目标数据为将所述高维特征数据转化为N个采样点的图像截取图的特征数据；
将所述目标数据输入至目标Transformer网络，得到各采样点对应的偏移量。
在一实施例中，所述确定模块10，还用于：
确定所述第一中心线上的第一中心点，其中，所述第一中心点为所述第一中心线中各采样点的坐标；
基于所述第一中心点以及所述各采样点对应的偏移量，得到第二中心点；
通过样条插值法对所述第二中心点进行处理，得到第二中心线。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的冠脉血管中心线的提取方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种冠脉血管中心线的提取方法，其特征在于，所述冠脉血管中心线的提取方法包括：
基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；
根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；
将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；
基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；
将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；
将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；
基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
2.如权利要求1所述的方法，其特征在于，所述基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图，包括：
根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像；
将所述冠脉粗分割图像输入至第一卷积神经网络中，得到所述第一冠脉的冠脉起点；
将所述冠脉粗分割图像输入至第二卷积神经网络中，得到所述第一冠脉的冠脉末端端点；
将所述冠脉粗分割图像输入至第三卷积神经网络中，得到所述第一冠脉的中心距离强度图。
3.如权利要求2所述的方法，其特征在于，所述根据所述三维冠脉影像，确定所述第一冠脉的冠脉粗分割图像，包括：
将所述三维冠脉影像输入至第四卷积神经网络中，得到所述第一冠脉的冠脉粗分割图像；或，
采用Frangi滤波的图像处理方式对所述三维冠脉影像做处理，得到所述第一冠脉的冠脉粗分割图像。
4.如权利要求1所述的方法，其特征在于，所述基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图，包括：
确定各采样点的目标平面，其中，所述目标平面的法向量为采样点在子中心线切线上对应的方向向量，所述采样点在所述目标平面上；
利用各采样点的目标平面分别对所述三维血管影像进行截取，得到N个采样点的图像截取图。
5.如权利要求1所述的方法，其特征在于，所述将所述N个采样点的图像截取图输入至目标CNN卷积神经网络之前，还包括：
基于第二冠脉的三维血管影像，确定第一目标中心点的图像截取图，其中，所述第一目标中线点为所述第二冠脉的第一中心线上的点；
将所述第一目标中心点输入至CNN卷积神经网络以及Transformer网络中，得到所述第一目标中心点的预测偏移量；
确定第一目标中心点与标注中心点的标注偏移量，其中，所述标注中心点为标注中心线上的点；
基于所述预测偏移量以及所述标注偏移量，更新所述CNN卷积神经网络以及Transformer网络，得到目标CNN卷积神经网络以及目标Transformer网络。
6.如权利要求1所述的方法，其特征在于，所述将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量，包括：
将所述大小为N*H*W*C的高维特征数据转化为目标数据，其中，所述目标数据为将所述高维特征数据转化为N个采样点的图像截取图的特征数据；
将所述目标数据输入至目标Transformer网络，得到各采样点对应的偏移量。
7.如权利要求1所述的方法，其特征在于，基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线，包括：
确定所述第一中心线上的第一中心点，其中，所述第一中心点为所述第一中心线中各采样点的坐标；
基于所述第一中心点以及所述各采样点对应的偏移量，得到第二中心点；
通过样条插值法对所述第二中心点进行处理，得到第二中心线。
8.一种冠脉血管中心线的提取装置，其特征在于，所述冠脉血管中心线的提取装置包括：
确定模块，用于基于第一冠脉的三维血管影像，确定所述第一冠脉的冠脉起点、冠脉末端端点以及中心距离强度图；
所述确定模块，还用于根据所述冠脉起点、所述冠脉末端端点以及所述中心距离强度图，确定所述第一冠脉的第一中心线；
采样模块，用于将所述第一中心线划分为多段子中心线，再分别对每段子中心线进行采样，得到N个采样点，并分别确定各采样点在子中心线切线上对应的方向向量；
所述确定模块，还用于基于所述N个采样点以及所述对应的方向向量，确定N个采样点的图像截取图；
所述确定模块，还用于将所述N个采样点的图像截取图输入至目标CNN卷积神经网络，得到大小为N*H*W*C的高维特征数据，其中，H*W表示图像截取图的大小，C表示特征数；
所述确定模块，还用于将所述大小为N*H*W*C的高维特征数据输入至目标Transformer网络，得到各采样点对应的偏移量；
所述确定模块，还用于基于所述第一中心线以及所述各采样点对应的偏移量，得到第二中心线。
9.一种冠脉血管中心线的提取设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的冠脉血管中心线的提取程序，所述冠脉血管中心线的提取程序配置为实现如权利要求1至7中任一项所述的冠脉血管中心线的提取方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有冠脉血管中心线的提取程序，所述冠脉血管中心线的提取程序被处理器执行时实现如权利要求1至7任一项所述的冠脉血管中心线的提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310848332.4A CN116993812A (zh) | 2023-07-11 | 2023-07-11 | 冠脉血管中心线的提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310848332.4A CN116993812A (zh) | 2023-07-11 | 2023-07-11 | 冠脉血管中心线的提取方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116993812A true CN116993812A (zh) | 2023-11-03 |
Family
ID=88522351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310848332.4A Pending CN116993812A (zh) | 2023-07-11 | 2023-07-11 | 冠脉血管中心线的提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993812A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495667A (zh) * | 2023-12-29 | 2024-02-02 | 柏意慧心(杭州)网络科技有限公司 | 用于确定血管中心线的方法、计算设备和介质 |
-
2023
- 2023-07-11 CN CN202310848332.4A patent/CN116993812A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495667A (zh) * | 2023-12-29 | 2024-02-02 | 柏意慧心(杭州)网络科技有限公司 | 用于确定血管中心线的方法、计算设备和介质 |
| CN117495667B (zh) * | 2023-12-29 | 2024-03-22 | 柏意慧心(杭州)网络科技有限公司 | 用于确定血管中心线的方法、计算设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11244435B2 (en) | Method and apparatus for generating vehicle damage information | |
| US20210158533A1 (en) | Image processing method and apparatus, and storage medium | |
| CN110046600B (zh) | 用于人体检测的方法和装置 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN114186632B (zh) | 关键点检测模型的训练方法、装置、设备、存储介质 | |
| US20220383661A1 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| US20210118137A1 (en) | Method and apparatus of labeling target in image, and computer recording medium | |
| CN113362314B (zh) | 医学图像识别方法、识别模型训练方法及装置 | |
| CN113870215B (zh) | 中线提取方法及装置 | |
| CN116993812A (zh) | 冠脉血管中心线的提取方法、装置、设备及存储介质 | |
| CN111401318A (zh) | 动作识别方法及装置 | |
| CN112241952A (zh) | 大脑中线识别方法、装置、计算机设备及存储介质 | |
| CN110930386B (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP2020123319A (ja) | 画像に基づくデータ処理方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
| CN112634231A (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
| CN110827283B (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
| CN116152266A (zh) | 一种穿刺针超声图像的分割方法、装置和系统 | |
| CN115359066A (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
| CN113743254B (zh) | 视线估计方法、装置、电子设备及存储介质 | |
| CN112488982A (zh) | 一种超声图像检测方法及装置 | |
| CN112257686B (zh) | 人体姿态识别模型的训练方法、装置及存储介质 | |
| CN115345928A (zh) | 关键点的获取方法、计算机设备和存储介质 | |
| CN112426170A (zh) | 一种胎盘厚度确定方法、装置、设备及存储介质 | |
| CN117058405B (zh) | 一种基于图像的情绪识别方法、系统、存储介质及终端 | |
| CN117726822B (zh) | 基于双分支特征融合的三维医学图像分类分割系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |