CN111178420B - 一种二维造影图像上冠脉段标注方法及系统 - Google Patents
一种二维造影图像上冠脉段标注方法及系统 Download PDFInfo
- Publication number
- CN111178420B CN111178420B CN201911350676.2A CN201911350676A CN111178420B CN 111178420 B CN111178420 B CN 111178420B CN 201911350676 A CN201911350676 A CN 201911350676A CN 111178420 B CN111178420 B CN 111178420B
- Authority
- CN
- China
- Prior art keywords
- coronary
- segment
- interest
- coronary artery
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims description 27
- 210000004204 blood vessel Anatomy 0.000 claims description 20
- 239000008280 blood Substances 0.000 claims description 14
- 210000004369 blood Anatomy 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 230000011218 segmentation Effects 0.000 description 9
- 210000003484 anatomy Anatomy 0.000 description 8
- 230000002792 vascular Effects 0.000 description 8
- 238000002586 coronary angiography Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000002601 radiography Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明实施例提供一种二维造影图像上冠脉段标注方法及系统，该方法包括：获取冠脉血管结构中感兴趣冠脉段之间的邻接矩阵；获取每一感兴趣冠脉段的参考特征；利用每一感兴趣冠脉段的参考特征、邻接矩阵，训练图网络，以获取每一感兴趣冠脉段的深层特征表达；根据每一感兴趣冠脉段的特征表达，获取每一感兴趣冠脉段的标注。本发明实施例提供的一种冠脉段标注方法，提出了具体、全面的参考特征去描述冠脉段；并使用图网络对冠脉段进行深层特征提取，图网络能够很好地处理冠脉结构，有效地学习冠脉结构中的拓扑关系，从而提高了本发明实施例的鲁棒性和准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种二维造影图像上冠脉段标注方法及系统。
背景技术
X光冠脉造影是心血管疾病诊断的金标准。学习分析造影图像中冠脉结构以及病变是医生的必修课。然而因透视成像原理，冠脉造影图像上会出现较多的血管交叠，极易形成环状、伪分叉等干扰结构，导致人为分析冠脉解剖分段困难。为了辅助医生实现对冠脉结构的精确分析，设计自动的冠脉解剖分段标注方法至关重要。
目前X光冠脉造影图像中冠脉段自动标注方法主要依赖先验的三维血管树标注模型。将从二维X光冠脉造影图像提取出的待标注血管树与已知的三维血管树进行匹配，随后将三维血管树上冠脉解剖分段的标注信息直接映射给与之匹配的二维血管段。
然而现实中病人个体差异较大，若使用统计得到的先验三维血管树标注模型，在匹配阶段会出现匹配错误的情况，进而导致二维血管树的解剖分段标注错误；若使用病人自己的先验三维血管树标注模型，则需另外采集病人冠脉的三维图像并进行人工标注，无疑加大了医生的工作量。
另外，近年来，CT冠脉造影图像中冠脉段的自动标注方法发展了起来，这类方法主要利用三维冠脉的骨架特征去描述冠脉段，比如冠脉段方向、与相邻冠脉段夹角、长度、曲率等。
随后使用分类器对所有的冠脉段特征进行多类别分类操作。其中标签类别为冠脉解剖分段标准。
然而冠脉血管在不同图像采集视角下或不同心跳状态下成像在X光造影图像上的状态不同，同一支冠脉段的长度、方向、曲率以及和相邻冠脉段的夹角都会发生变化，因此只关注血管的骨架特征，无法进行二维X光造影图像上的冠脉段自动标注任务。
因此，亟需一种二维造影图像上冠脉段自动标注方法。
发明内容
为了解决上述问题，本发明实施例提供一种二维造影图像上冠脉段标注方法及系统。
第一方面，本发明实施例提供一种二维造影图像上冠脉段标注方法，包括：
获取冠脉血管结构中感兴趣冠脉段的邻接矩阵；
获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵和训练后的图网络，获取每一感兴趣冠脉段的深层特征，图网络模型是通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
优选地，所述任一感兴趣冠脉段的图像特征通过如下方式得到：
将所述任一感兴趣冠脉段输入到自编码器中，获取所述任一感兴趣冠脉段的图像特征。
优选地，所述任一感兴趣冠脉段的形状特征，具体包括：
所述任一感兴趣冠脉段的最大半径、所述任一感兴趣冠脉段的最小半径、所述任一感兴趣冠脉段起止点的方向值、所述任一感兴趣冠脉段上的最大曲率值和所述任一感兴趣冠脉段上的最小曲率值。
优选地，所述任一感兴趣冠脉段的结构特征，具体包括：
所述任一感兴趣冠脉段与其相邻的感兴趣冠脉段之间的夹角，所述任一感兴趣冠脉段质心在整个冠脉骨架图上的位置。
优选地，所述获取冠脉血管结构感兴趣冠脉段的邻接矩阵，之前还包括：
对待标注冠脉的血管骨架进行划分，获取若干血管子段；
对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段。
优选地，所述对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段，具体包括：
根据每一血管子段是否共用一个分叉点或交叉点，确定每一血管子段的连接关系，并建立有向图；
删除所述有向图中所有的伪分叉点，获取所有正常分叉点；
根据每一正常分叉点的入度方向和出度方向，将正常分叉点截断的血管子段重组成感兴趣冠脉段；
获取若干感兴趣冠脉段。
优选地，所述根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注，具体包括：
将每一感兴趣冠脉段的深层特征输入到softmax层，对每一感兴趣冠脉段的深层特征进行分类，获取每一感兴趣冠脉段的标注。
第二方面，本发明实施例提供一种二维造影图像上冠脉段标注系统，包括：
冠脉图构建模块，用于获取冠脉血管结构感兴趣冠脉段的邻接矩阵；
参考特征提取模块，用于获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
深层特征提取模块，用于根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵和训练后的图网络，获取每一感兴趣冠脉段的深层特征，图网络模型是通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
标注模块，用于根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面提供的一种二维造影图像上冠脉段标注方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面提供的一种二维造影图像上冠脉段标注方法的步骤。
本发明实施例提供的一种二维造影图像的冠脉段标注方法及系统，提出了具体、全面的参考特征去描述冠脉段，可为后续对冠脉段的多类别分类操作提供丰富的信息；并使用图网络对冠脉段进行结构特征的提取，图网络能够很好地处理冠脉结构，有效地学习冠脉结构中的拓扑关系，通过图网络学习到的冠脉段特征除了包含原始输入的冠脉段描述特征之外，还包含冠脉段与冠脉段间的连接关系，从而提高了本发明实施例的鲁棒性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种二维造影图像的冠脉段标注方法流程图；
图2为本发明实施例中获取感兴趣冠脉段以及邻接矩阵的流程图；
图3为本发明实施例提供的一种二维造影图像上冠脉段标注系统的结构示意图；
图4为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到目前自动对X光冠脉造影图像中冠脉段进行标注的方法依赖先验的三维血管树标注模型、仅使用血管骨架结构信息建模等问题，本发明实施例将提出一种能够实现无先验模型引导的全自动二维造影图像的冠脉解剖分段标注方法，并将其设计成一套系统。
准确的冠脉解剖分段标注结果能够加快医生对病情的诊断过程，为自动生成医学报告、可视化冠脉重要分支解剖结构等需求提供必要信息。
图1为本发明实施例提供的一种二维造影图像的冠脉段标注方法流程图，如图1所示，本发明实施例提供一种二维造影图像上冠脉段标注方法，包括：
S1，获取冠脉结构中感兴趣冠脉段的邻接矩阵；
S2，获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
S3，根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵和训练后的图网络模型，获取每一感兴趣冠脉段的深层特征，图网络模型是通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
S4，根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
本发明实施例中，感兴趣冠脉段是指医生在诊断病情和手术规划过程中关注的冠脉段。一般而言，对患者进行X光造影后，可以得到X光造影图像，从该X光造影图像中提取血管骨架，由于血管骨架自动提取方法对管状血管结构的无差别提取设计，提取到的血管骨架中仅有少部分血管段是医生在病情诊断和手术规划过程中关注的，将这部分血管段提取出来，即为感兴趣冠脉段。
感兴趣冠脉段的邻接矩阵是根据各个感兴趣冠脉段之间的分叉连接结构得到的，具体为：根据各个冠脉段是否共用同一个分叉点来确定其连接关系，建立邻接矩阵。
由于单一的冠脉段特征只能从一个方面描述冠脉段，并且容易受到外界环境的影响，鲁棒性较低，因此，本发明实施例中设计了参考特征，该参考特征从图像、形状、结构和条件四个方面对冠脉段进行综合描述，即使外界环境影响到其中的某一个方面，其它三个方面任然可以保证该参考特征的稳定性和鲁棒性，从而提高了本标注算法的精度和准确度。
本发明实施例中，图像特征是指感兴趣冠脉段的图像中所包含的信息，形状特征是指该感兴趣冠脉段的形状所包含的信息，结构特征是指该感兴趣冠脉段的连接结构所包含的信息，条件特征是指该X光造影图像拍摄时外界环境和病人身体等外部条件所包含的信息。
将每个感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵输入到训练后的图网络中，得到每个感兴趣冠脉段的深层特征，该深层特征中除了包含原始的参考特征之外，还包含了每个感兴趣冠脉段和其它感兴趣冠脉段之间的连接关系，从而具有较高的鲁棒性。
然后根据每个感兴趣冠脉段的深层特征，对每个感兴趣冠脉段进行标注。
本发明实施例提供的一种二维造影图像上冠脉段标注方法，提出了具体、全面的参考特征去描述冠脉段，可为后续对冠脉段的多类别分类操作提供丰富的信息；并使用图网络对冠脉段进行特征提取，图网络能够很好地处理冠脉树结构，有效地学习冠脉结构中的拓扑关系，通过图网络学习到的冠脉段特征除了包含原始输入的冠脉段描述特征之外，还包含冠脉段与冠脉段间的连接关系，从而提高了本发明实施例的鲁棒性和准确性。
在上述实施例的基础上，优选地，所述任一感兴趣冠脉段的图像特征通过如下方式得到：
将所述任一感兴趣冠脉段输入到自编码器中，获取所述任一感兴趣区域的图像特征。
具体地，图像特征的获取方式是将感兴趣冠脉段输入到自编码器中，自编码器(autoencoder，简称AE)是一类在半监督学习和非监督学习中使用的人工神经网络(Artificial Neural Networks，简称ANNs)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。
在噪声特别多的血管树标注分类过程中，使用自编码器提取的图像特征比仅仅使用由骨架挖掘到的形状特征和结构特征更鲁棒。
在上述实施例的基础上，优选地，所述任一感兴趣冠脉段的形状特征，具体包括：
所述任一感兴趣冠脉段的最大半径、所述任一感兴趣冠脉段的最小半径、所述任一感兴趣冠脉段起止点的方向值、所述任一感兴趣冠脉段上的最大曲率值和所述任一感兴趣冠脉段上的最小曲率值。
具体地，感兴趣冠脉段的最大半径、最小半径、起止点的方向值、最大曲率半径和最小曲率半径组成了该感兴趣冠脉段的形状特征。
在上述实施例的基础上，优选地，所述任一感兴趣冠脉段的结构特征，具体包括：
所述任一感兴趣冠脉段与其相邻的感兴趣冠脉段之间的夹角，所述任一感兴趣冠脉段质心在整个冠脉骨架图上的位置。
具体地，感兴趣冠脉段的结构特征包括该冠脉段与其它冠脉段之间的夹角、该冠脉段质心在整个冠脉骨架图中的位置。
另外，外拍摄视角以及心跳状态都会影响血管树的大小、方向，因此有必要作为条件特征描述各个冠脉段。
因此，本发明实施例中的感兴趣冠脉段的条件特征包括：拍摄视角以及心跳状态。
在上述实施例的基础上，优选地，所述获取感兴趣冠脉段的邻接矩阵，之前还包括：
对待标注冠脉的血管骨架进行划分，获取若干血管子段；
对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段。
该过程是将输入的冠脉骨架按照骨架端点、分叉点、交叉点位置划分为若干血管子段。血管子段为最小的处理单元。
然后分析上述血管子段，通过筛选、重组得到感兴趣冠脉段，随后分析这些感兴趣冠脉段之间的连接关系，得到邻接矩阵。
在上述实施例的基础上，优选地，所述对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段，具体包括：
根据每一血管子段是否共用一个分叉点或交叉点，确定每一血管子段的连接关系，并建立有向图；
删除所述有向图中所有的伪分叉点，获取所有正常分叉点；
根据每一正常分叉点的入度方向和出度方向，将正常分叉点截断的血管子段重组成感兴趣冠脉段；
获取若干感兴趣冠脉段。
图2为本发明实施例中获取感兴趣冠脉段以及邻接矩阵的流程图，结合图2，对本发明冠脉段邻接关系图构建模块的实现步骤进行详细的描述。
步骤一：初步建图。利用各个血管子段是否共用一个分叉点或交叉点确定子段间的连接关系，初步建立有向图。
步骤二：伪分叉点探测，并删除伪分叉点。在有向图上度为1的节点中，左上角的节点定义为根节点；其他节点视为叶节点。
本发明通过删除叶节点的方式得到初始有向图的子图，若子图中出现环状结构则说明原图中出现伪分叉点。分析环状结构对应顶点中在子图中的度为2的顶点，分别计算它们在原图中对应的度，若原始度大于3则该点是伪分叉点，否则为正常分叉点。
随后在子图中删掉该伪分叉点及其相邻的边行程新的有向图，迭代进行伪分叉点探测的过程直到原始有向图上所有节点的属性判断完成。
步骤三：冠脉段重组。本发明通过对交叉点的入度和出度方向的分析，将交叉点截断的血管段恢复成完整的冠脉段。
将入度方向与出度方向更相近的两个血管子段恢复成一条感兴趣冠脉段。
步骤四：冠脉段邻接关系图构建。根据恢复后的各个冠脉段是否共用同一个分叉点来确定其连接关系，建立邻接矩阵。
在上述实施例的基础上，优选地，所述根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注，具体包括：
将每一感兴趣冠脉段的深层特征输入到softmax层，对每一感兴趣冠脉段的深层特征进行分类，获取每一感兴趣冠脉段的标注。
图网络的输出是冠脉段的深层特征，本发明实施例在图注意力网络后添加了softmax层对冠脉段特征进行多类别的分类，得到每个冠脉段的标注。
还需要说明的是，本发明实施例中对图网络进行训练的过程如下：
训练过程：本发明使用训练集中的X光造影图像，自动提取其中冠脉骨架，随后按照冠脉SYNTAX评分标准，请医生对骨架上主要关注的冠脉段进行标注，其中，对于右优势型冠脉，其左冠上分别标注5、6、7、8、9、9a、10、10a、11、12、12a、12b、13、14、14a、14b共16段冠脉段，其右冠上分别标注1、2、3、4、16、16a、16b、16c共8段冠脉段。
对于左优势型冠脉，其左冠上标注5、6、7、8、9、9a、10、10a、11、12、12a、12b、13、14、14a、14b、15共17段冠脉段，其右冠上标注1、2、3共3段冠脉段，其余冠脉段标注为0。
随后获取训练集冠脉样本的邻接矩阵和各个冠脉段参考特征，并将二者送入图网络中学习冠脉段的深层特征。
本发明使用的是图注意力网络，该网络在训练过程中更新中心节点特征时能够根据它本身与各个相邻节点的特征学习到特异的更新权重，能够捕捉到更具体的冠脉段之间的空间连接关系。
图注意力网络的输出是冠脉段的深层特征，本发明在图注意力网络后添加了softmax层对冠脉段特征进行多类别的分类，得到每个冠脉段的标签。训练过程中损失函数为标签分类结果的交叉熵。
本发明使用一定的训练样本对网络模型进行持续训练，得到最优的图注意力网络模型。
测试步骤：与训练步骤相似，只是自动提取的冠脉骨架中没有医生手动标注的冠脉段标签信息。将冠脉段间邻接矩阵和冠脉段的参考特征送入图网络计算冠脉段的深层特征并进行最后的多类别分类，即可得到每个冠脉段的解剖分段标注结果。
综上，本发明实施例通过对血管骨架的子段划分、冠脉段重组、冠脉段邻接关系确定、冠脉段特征描述以及多类别分类，得到在X光造影图像中医生重点关注的冠脉解剖分段标注信息。
其中，本发明设计了原始血管骨架中伪分叉点的探测以及冠脉段重组操作，能够将复杂冗余的血管骨架简化为有意义的若干冠脉段相互连接的结构，方便后续对冠脉段连接关系的分析。
另外本发明提出了具体、全面的特征去描述冠脉段，可为后续对冠脉段的多类别分类操作提供丰富的信息。最后本发明使用基于图网络的分类器来对冠脉段进行多类别分类。图网络能够很好地处理冠脉树结构，有效地学习冠脉结构中的拓扑关系。通过图网络学习到的冠脉段特征除了包含原始输入的冠脉段描述特征之外，还包含冠脉段与冠脉段间的连接关系。
图3为本发明实施例提供的一种二维造影图像上冠脉段标注系统的结构示意图，如图3所示，该系统包括：冠脉图构建模块301、参考特征提取模块302、深层特征提取模块303和标注模块304，其中：
冠脉图构建模块301用于获取冠脉血管结构中感兴趣冠脉段间的邻接矩阵；
参考特征提取模块302用于获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
深层特征提取模块303用于根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵和训练后的图网络模型，获取每一感兴趣冠脉段的深层特征，图网络模型预先通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
标注模块304用于根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
具体地，冠脉图构建模块301获取待标注冠脉的感兴趣冠脉段，并获取冠脉结构中感兴趣冠脉段的邻接矩阵，参考特征提取模块302获取每个感兴趣冠脉段的参考特征，该参考特征包括冠脉段的图像、形状、结构和条件四个方面的特征，深层特征提取模块303将每个感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵输入到训练后的图网络模型中，得到每个感兴趣冠脉段的深层特征，标注模块304根据每个感兴趣冠脉段的深层特征，得到每个感兴趣冠脉段的标注。
本系统实施例的具体执行过程与上述方法实施例的具体执行过程相同，详情请参考上述方法实施例，本系统实施例在此不再赘述。
图4为本发明实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。通信接口402可以用于电子设备的信息传输。处理器401可以调用存储器403中的逻辑指令，以执行包括如下的方法：
获取冠脉结构中感兴趣冠脉段的邻接矩阵；
获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段间的邻接矩阵和训练后的图网络模型，获取每一感兴趣冠脉段的深层特征，图网络模型通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
获取冠脉血管中感兴趣冠脉段间的邻接矩阵；
获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；
根据每一感兴趣冠脉段的参考特征、感兴趣冠脉段的邻接矩阵和训练后的图网络模型，获取每一感兴趣冠脉段的深层特征，图网络模型通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签训练得到；
根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种二维造影图像上冠脉段标注方法，其特征在于，包括：
获取冠脉血管结构中感兴趣冠脉段的邻接矩阵，所述邻接矩阵是根据各个感兴趣冠脉段之间的分叉连接结构得到的；
获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；所述结构特征包括所述任一感兴趣冠脉段与其相邻的感兴趣冠脉段之间的夹角，以及所述任一感兴趣冠脉段质心在整个冠脉骨架图上的位置，所述条件特征包括造影图像拍摄时的拍摄视角以及心跳状态；
利用每一感兴趣冠脉段的参考特征、所述冠脉段的邻接矩阵，训练图网络，获取每一感兴趣冠脉段的深层特征，所述深层特征包括所述参考特征、以及每一感兴趣冠脉段和其它感兴趣冠脉段之间的连接关系，图网络通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签进行训练；
根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
2.根据权利要求1所述的二维造影图像上冠脉段标注方法，其特征在于，所述任一感兴趣冠脉段的图像特征通过如下方式得到：
将所述任一感兴趣冠脉段输入到自编码器中，获取所述任一感兴趣冠脉段的图像特征。
3.根据权利要求1所述的二维造影图像上冠脉段标注方法，其特征在于，所述任一感兴趣冠脉段的形状特征，具体包括：
所述任一感兴趣冠脉段的最大半径、所述任一感兴趣冠脉段的最小半径、所述任一感兴趣冠脉段起止点的方向值、所述任一感兴趣冠脉段上的最大曲率值和所述任一感兴趣冠脉段上的最小曲率值。
4.根据权利要求1所述的二维造影图像上冠脉段标注方法，其特征在于，所述获取冠脉血管结构中感兴趣冠脉段的邻接矩阵，之前还包括：
对待标注冠脉的血管骨架进行划分，获取若干血管子段；
对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段。
5.根据权利要求4所述的二维造影图像上冠脉段标注方法，其特征在于，所述对若干血管子段进行筛选、重组，获取每一感兴趣冠脉段，具体包括：
根据每一血管子段是否共用一个分叉点或交叉点，确定每一血管子段的连接关系，并建立有向图；
删除所述有向图中所有的伪分叉点，获取所有正常分叉点；
根据每一正常分叉点的入度方向和出度方向，将正常分叉点截断的血管子段重组成感兴趣冠脉段；
获取若干感兴趣冠脉段。
6.根据权利要求1所述的二维造影图像上冠脉段标注方法，其特征在于，所述根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注，具体包括：
将每一感兴趣冠脉段的深层特征输入到softmax层，对每一感兴趣冠脉段的深层特征进行分类，获取每一感兴趣冠脉段的标注。
7.一种二维造影图像上冠脉段标注系统，其特征在于，包括：
冠脉图构建模块，用于获取冠脉血管结构中感兴趣冠脉段的邻接矩阵，所述邻接矩阵是根据各个感兴趣冠脉段之间的分叉连接结构得到的；
参考特征提取模块，用于获取每一感兴趣冠脉段的参考特征，对于任一感兴趣冠脉段，所述任一感兴趣冠脉段的参考特征包括所述任一感兴趣冠脉段的图像特征、所述任一感兴趣冠脉段的形状特征、所述任一感兴趣冠脉段的结构特征和所述任一感兴趣冠脉段的条件特征；所述结构特征包括所述任一感兴趣冠脉段与其相邻的感兴趣冠脉段之间的夹角，以及所述任一感兴趣冠脉段质心在整个冠脉骨架图上的位置，所述条件特征包括造影图像拍摄时的拍摄视角以及心跳状态；
深层特征提取模块，用于利用每一感兴趣冠脉段的参考特征、所述冠脉段的邻接矩阵，训练图网络，获取每一感兴趣冠脉段的深层特征，所述深层特征包括所述参考特征、以及每一感兴趣冠脉段和其它感兴趣冠脉段之间的连接关系，图网络通过冠脉段样本的参考特征、冠脉段样本的邻接矩阵和冠脉段样本的预设标签进行训练；
标注模块，用于根据每一感兴趣冠脉段的深层特征，获取每一感兴趣冠脉段的标注。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述二维造影图像上冠脉段标注方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述二维造影图像上冠脉段标注方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350676.2A CN111178420B (zh) | 2019-12-24 | 2019-12-24 | 一种二维造影图像上冠脉段标注方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350676.2A CN111178420B (zh) | 2019-12-24 | 2019-12-24 | 一种二维造影图像上冠脉段标注方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178420A CN111178420A (zh) | 2020-05-19 |
| CN111178420B true CN111178420B (zh) | 2024-01-09 |
Family
ID=70654088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911350676.2A Active CN111178420B (zh) | 2019-12-24 | 2019-12-24 | 一种二维造影图像上冠脉段标注方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178420B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658104A (zh) * | 2021-07-21 | 2021-11-16 | 南方科技大学 | 血管图像处理方法、电子设备及计算机可读存储介质 |
| CN114926700B (zh) * | 2022-07-22 | 2022-10-25 | 浙江大学 | 冠状动脉类别确定方法、装置、电子设备及存储介质 |
| CN116188457B (zh) * | 2023-04-18 | 2023-07-21 | 天津恒宇医疗科技有限公司 | 冠脉造影骨架图的处理方法及处理系统 |
| CN116645383B (zh) * | 2023-07-27 | 2023-11-03 | 天津恒宇医疗科技有限公司 | 基于偏折角的感兴趣血管段路径优化方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097298A (zh) * | 2016-05-27 | 2016-11-09 | 中国人民解放军第三军医大学 | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 |
| CN108932715A (zh) * | 2018-07-13 | 2018-12-04 | 北京红云智胜科技有限公司 | 一种基于深度学习的冠状动脉造影图分割的优化方法 |
| CN109635876A (zh) * | 2017-12-21 | 2019-04-16 | 北京昆仑医云科技有限公司 | 为生理树结构生成解剖标签的计算机实现的方法、装置和介质 |
| CN110298844A (zh) * | 2019-06-17 | 2019-10-01 | 艾瑞迈迪科技石家庄有限公司 | X光造影图像血管分割与识别方法及装置 |
-
2019
- 2019-12-24 CN CN201911350676.2A patent/CN111178420B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097298A (zh) * | 2016-05-27 | 2016-11-09 | 中国人民解放军第三军医大学 | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 |
| CN109635876A (zh) * | 2017-12-21 | 2019-04-16 | 北京昆仑医云科技有限公司 | 为生理树结构生成解剖标签的计算机实现的方法、装置和介质 |
| CN108932715A (zh) * | 2018-07-13 | 2018-12-04 | 北京红云智胜科技有限公司 | 一种基于深度学习的冠状动脉造影图分割的优化方法 |
| CN110298844A (zh) * | 2019-06-17 | 2019-10-01 | 艾瑞迈迪科技石家庄有限公司 | X光造影图像血管分割与识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178420A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178420B (zh) | 一种二维造影图像上冠脉段标注方法及系统 | |
| KR102016959B1 (ko) | 혈관 모델 생성 방법 및 장치 | |
| KR101875468B1 (ko) | 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치 | |
| US9471989B2 (en) | Vascular anatomy modeling derived from 3-dimensional medical image processing | |
| US10997466B2 (en) | Method and system for image segmentation and identification | |
| JP5868231B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム | |
| CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
| Yang et al. | Automatic coronary calcium scoring using noncontrast and contrast CT images | |
| CN111192660B (zh) | 一种影像报告分析方法、设备及计算机存储介质 | |
| CN114037663A (zh) | 一种血管分割方法、装置及计算机可读介质 | |
| CN114155193B (zh) | 一种基于特征强化的血管分割方法及装置 | |
| US20220092786A1 (en) | Method and arrangement for automatically localizing organ segments in a three-dimensional image | |
| CN117373070B (zh) | 血管分段标注的方法及装置、电子设备和存储介质 | |
| JP2024059614A (ja) | ユーザ入力に基づいて血管映像を処理する方法及び装置 | |
| AU2020223750B2 (en) | Method and System for Image Annotation | |
| Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
| CN112418299B (zh) | 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置 | |
| EP3951433A1 (en) | Line structure extraction device, method and program, and learned model | |
| CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
| JP2011161104A (ja) | 画像生成装置、画像生成方法、及びそのプログラム | |
| CN108198213B (zh) | 一种标记管状结构的方法及装置、管状结构的处理终端 | |
| CN113792740B (zh) | 眼底彩照的动静脉分割方法、系统、设备及介质 | |
| Zhao et al. | Quantitation of vascular morphology by directed graph construction | |
| CN113990432A (zh) | 基于rpa和ai的影像报告推送方法、装置及计算设备 | |
| CN113298773A (zh) | 基于深度学习的心脏视图识别与左心室检测装置、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |