CN115170599A - 通过图神经网络的链路预测进行血管分割的方法和装置 - Google Patents

通过图神经网络的链路预测进行血管分割的方法和装置 Download PDF

Info

Publication number
CN115170599A
CN115170599A CN202210583355.2A CN202210583355A CN115170599A CN 115170599 A CN115170599 A CN 115170599A CN 202210583355 A CN202210583355 A CN 202210583355A CN 115170599 A CN115170599 A CN 115170599A
Authority
CN
China
Prior art keywords
node
target
sample
blood vessel
adjacency matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210583355.2A
Other languages
English (en)
Inventor
于皓
张立
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202210583355.2A priority Critical patent/CN115170599A/zh
Publication of CN115170599A publication Critical patent/CN115170599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种通过图神经网络的链路预测进行血管分割的方法和装置，所述通过图神经网络的链路预测进行血管分割的方法，包括：将待测血管图像输入至U‑net模型，获取由U‑net模型输出的目标第一邻接矩阵；基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图。本发明的通过图神经网络的链路预测进行血管分割的方法，通过优化后的U‑net模型基于待测血管图像生成对应有较优连通性以及拓展性的目标第一邻接矩阵，然后基于节点集、边集和目标第一邻接矩阵生成目标血管连通图，能够显著增强血管的拓扑结构和连通性，从而提高血管图像的分割效率和效果。

Description

通过图神经网络的链路预测进行血管分割的方法和装置
技术领域
本发明涉及血管图像分割技术领域，尤其涉及一种通过图神经网络的链路预测进行血管分割的方法和装置。
背景技术
血管图像分割技术被广泛应用于冠状动脉异常变化诊断上，图神经网络(GNN)被引入医学图像分割领域，基于GNN的模型通常将图像切分成不重叠的子区域，并从其中取一些像素进行采样来构建图节点及其特征，然而这种图构建方式会产生许多冗余和孤立的节点，从而增加图构建和训练过程中的计算成本，且最终分割结果中关于血管分割结果的拓扑结构和连通性的效果不佳。
发明内容
本发明提供一种通过图神经网络的链路预测进行血管分割的方法和装置，用以解决现有技术中血管分割结果的拓扑结构和连通性的效果不佳的缺陷，实现高效的血管图像分割。
本发明提供一种通过图神经网络的链路预测进行血管分割的方法，包括：
将待测血管图像输入至U-net模型，获取由所述U-net模型输出的目标第一邻接矩阵；
基于所述待测血管图像的节点集、边集和所述目标第一邻接矩阵，生成目标血管连通图；
其中，所述U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
根据本发明提供的一种通过图神经网络的链路预测进行血管分割的方法，在所述将待测血管图像输入至U-net模型之前，所述方法包括：
基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵；
基于节点特征和所述样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵；
基于所述样本第一邻接矩阵和所述第二邻接矩阵，确定所述目标损失函数。
根据本发明提供的一种通过图神经网络的链路预测进行血管分割的方法，所述基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵，包括：
对所述节点集中目标节点进行聚类，生成与所述目标节点对应的簇；
基于所述目标节点对应的簇和所述簇中每个像素点的特征，生成所述目标节点对应的节点特征；
基于所述节点特征之间的余弦相似度，生成所述样本第一邻接矩阵。
根据本发明提供的一种通过图神经网络的链路预测进行血管分割的方法，所述基于节点特征和所述样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵，包括：
基于图卷积对所述节点特征进行编码，生成节点嵌入表示；
使用内积对所述节点嵌入表示进行解码，生成所述第二邻接矩阵。
根据本发明提供的一种通过图神经网络的链路预测进行血管分割的方法，所述使用内积对所述节点嵌入表示进行解码，生成所述第二邻接矩阵，包括：
基于公式：
Figure BDA0003662510810000031
withZ＝Encoder(f,A)
生成所述第二邻接矩阵，其中，
Figure BDA0003662510810000032
为所述第二邻接矩阵，Z为所述节点嵌入表示，f为所述节点特征，A为所述样本第一邻接矩阵，Encoder为目标图卷积层，σ为sigmoid函数。
根据本发明提供的一种通过图神经网络的链路预测进行血管分割的方法，在所述基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵之前，所述方法包括：
基于所述样本血管图像中血管的人工注释，生成所述血管的骨架结构；
在所述骨架结构上进行角点采样，生成所述节点集；所述节点集包括角点，各所述角点间欧几里德距离不低于第一目标阈值；
基于所述血管的人工注释，生成所述节点集中两个所述节点之间的测地距离；
在所述测地距离小于第二目标阈值的情况下，在所述测地距离对应的节点之间构造边，生成所述边集；
基于所述骨架和所述边集之间的距离，确定所述边集中目标边的正负值。
本发明还提供一种通过图神经网络的链路预测进行血管分割的装置，包括：
第一处理模块，用于将待测血管图像输入至U-net模型，获取由所述U-net模型输出的目标第一邻接矩阵；
第二处理模块，用于基于所述待测血管图像的节点集、边集和所述目标第一邻接矩阵，生成目标血管连通图；
其中，所述U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述通过图神经网络的链路预测进行血管分割的方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述通过图神经网络的链路预测进行血管分割的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述通过图神经网络的链路预测进行血管分割的方法。
本发明提供的通过图神经网络的链路预测进行血管分割的方法和装置，通过优化后的U-net模型基于待测血管图像生成对应有较优连通性以及拓展性的目标第一邻接矩阵，然后基于节点集、边集和目标第一邻接矩阵生成目标血管连通图，能够显著增强血管的拓扑结构和连通性，从而提高血管图像的分割效率和效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的通过图神经网络的链路预测进行血管分割的方法的流程示意图之一；
图2是本发明提供的通过图神经网络的链路预测进行血管分割的方法的流程示意图之二；
图3是本发明提供的通过图神经网络的链路预测进行血管分割的方法的效果示意图之一；
图4是本发明提供的通过图神经网络的链路预测进行血管分割的方法的效果示意图之二；
图5是本发明提供的通过图神经网络的链路预测进行血管分割的装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图4描述本发明的通过图神经网络的链路预测进行血管分割的方法。
需要说明的是，本发明的通过图神经网络的链路预测进行血管分割的方法的执行主体可以为通过图神经网络的链路预测进行血管分割的装置，或者服务器，或者用户的终端，如手机、平板电脑或PC端等。
如图1所示，该通过图神经网络的链路预测进行血管分割的方法，包括：步骤110和步骤120。
步骤110、将待测血管图像输入至U-net模型，获取由U-net模型输出的目标第一邻接矩阵；
在该步骤中，待测血管图像为由传感器采集的原始图像，如图4(a)所示。
目标第一邻接矩阵为用于构建图像的二维数组，存放节点之间的关系。
目标第一邻接矩阵用于表征每条边的属性，如表征每条边对应的权重。
目标第一邻接矩阵对应有较好的拓扑性。
在实际应用过程中，U-net模型为优化后的模型，用于基于待测血管图像生成对应有较好的血管连通性的目标第一邻接矩阵。
其中，U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
在实际训练过程中，可以将每一个带边标签的样本血管图像作为一个训练样本，从而可以得到多个训练样本以构成样本数据集。将样本数据集中的部分训练样本作为训练集，部分训练样本作为验证集，并将剩余训练样本作为测试集，其中训练集、验证集和测试集的训练样本的比例可以设置为5:2:3。
例如，样本数据集可以包括DRIVE数据集，其是最常见的眼底图像基准，包括40个大小为565×584并带有人工注释的眼底图像。
样本数据集还可以包括冠状动脉DSA图像的数据集，其包括大小为512×512并带有人工注释的1092张冠状动脉DSA图像，其中，546幅图像划分为训练集，218幅图像划分为验证集，其余328幅图像构成测试集。
目标损失函数包括：分割损失函数和图约束连接损失函数。
在实际训练过程中，可以先使用分割损失函数来训练初始U-net模型。
初始U-net模型的输入为带边标签的样本血管图像，输出为与带边标签的样本血管图像对应的样本第一邻接矩阵。
其中，分割损失函数为基于Dice损失函数和交叉熵(CE)损失函数生成的。
具体有：
Figure BDA0003662510810000071
其中，Lseg为分割损失函数；Np为像素数，pi为由初始U-net模型输出的像素i的样本第一邻接矩阵对应的图像；yi为人工注释GT；ε为平滑项，ε可以设置为1e-6。
然后使用LP-GCCM模型来优化初始U-net模型。
LP-GCCM模型的输入为带边标签的样本第一邻接矩阵对应的图像，输出为第二邻接矩阵。
其中，样本第一邻接矩阵对应的图像为由优化前的U-net模型(即初始U-net模型)所生成的。
对于LP-GCCM模型，可以使用带有sigmoid层的CE作为图约束连接损失LGCC；其中：
Figure BDA0003662510810000072
其中，Ne为像素数，pi为边i的概率输出(即样本第一邻接矩阵对应的图像)；yi为边i对应的边标签。
则整个优化后的U-net模型的目标损失函数可以表示为：
Lsum＝LSeg+LGCC
也即，在实际训练过程中，是基于样本第一邻接矩阵与第二邻接矩阵作为目标损失函数对初始U-net模型进行调优，以得到优化后的U-net模型。
如图2所示，对于样本血管图像，首先将其输入至初始U-net模型进行血管分割，生成样本第一邻接矩阵对应的预测图像以及节点特征；然后将样本第一邻接矩阵对应的预测图像以及节点特征输入至LP-GCCM模型，由LP-GCCM模型输出第二邻接矩阵；然后基于样本第一邻接矩阵和第二邻接矩阵对初始U-net模型进行调整，以增强其输出的第一邻接矩阵所对应的血管连通性，得到优化后的U-net模型。
步骤120、基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图；
在该步骤中，节点集为待测血管图像中血管上的至少部分节点的集合，如图3(c)所示。
边集为待测血管图像对应的节点集中至少部分相邻节点所构成的边的集合，如图3(e)所示。
目标血管连通图为对原始图像(即待测血管图像)进行血管分割后所生成的最终图像。
目标血管连通图可以描述为：
G＝(V；E；A)
其中，G为目标血管连通图，V为节点集，E为边集，A为目标第一邻接矩阵。
在通过步骤110生成目标第一邻接矩阵后，采用常规图像生成方法即可生成目标血管连通图，本发明不作赘述。
表1示例了本发明的方法与其他相关技术所生成的图像的血管连通性指标，其中，基于基线的方法在DRIVE和冠状动脉DSA数据集上的Dice分数分别为0.8149和0.8870；本发明提出的方法在两个数据集上的Dice分数分别为0.8267和0.8921，优于现有的其他相关方法。
除此之外，本发明通过集成建模可以有效地改善Dice和clDice指标，Dice和clDice指标分别具有0.8267和0.9206的clDice分数，呈现出更好的血管连通性。
图4所示了DRIVE和冠状动脉DSA两个数据集上的血管分割结果示例(前三行是DRIVE的结果，后三行是冠状动脉DSA图像数据集的结果)，其中，(a)为原始图像，(b)为人工注释，(c)为基线，(d)、(e)和(f)分别为其他方法所生成的分割结果图像，(g)为本发明的方法所生成的目标血管连通图。由图4可知，通过本发明的方法所生成的目标血管连通图能更好地呈现血管连通性。
表1
Figure BDA0003662510810000091
根据本发明实施例提供的通过图神经网络的链路预测进行血管分割的方法，通过优化后的U-net模型基于待测血管图像生成对应有较优连通性以及拓展性的目标第一邻接矩阵，然后基于节点集、边集和目标第一邻接矩阵生成目标血管连通图，能够显著增强血管的拓扑结构和连通性，从而提高血管图像的分割效率和效果。
下面通过具体实施例，对U-net模型的训练过程进行说明。
在一些实施例中，在步骤110之前，该方法还可以包括：
基于样本血管图像的节点集和边集，生成样本第一邻接矩阵；
基于节点特征和样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵；
基于样本第一邻接矩阵和第二邻接矩阵，确定目标损失函数。
在该实施例中，样本血管图像的节点集样本血管图像中血管上的至少部分节点的集合。
边集为样本血管图像对应的节点集中至少部分相邻节点所构成的边的集合。
样本第一邻接矩阵为基于优化前的U-net模型(即初始U-net模型)所生成的，样本第一邻接矩阵对应的血管连通性相较于优化后的U-net模型所生成的第一邻接矩阵对应的血管连通性相对较差。
在实际执行过程中，基于已有的节点集和边集，可以确定节点集中节点之间的关系；基于节点之间的关系，即可生成样本第一邻接矩阵。
在一些实施例中，基于样本血管图像的节点集和边集，生成样本第一邻接矩阵，可以包括：
对节点集中目标节点进行聚类，生成与目标节点对应的簇；
基于目标节点对应的簇和簇中每个像素点的特征，生成目标节点对应的节点特征；
基于节点特征之间的余弦相似度，生成样本第一邻接矩阵。
在该实施例中，目标节点为样本血管图像对应的节点集中的任意一个节点。
样本第一邻接矩阵为包括任意两个节点之间的余弦相似度的矩阵。
在实际执行过程中，可以使用改进的简单的线性迭代聚类(Simple LinearIterative Cluster，SLIC)方法同时对每个节点进行聚类，以任意两个像素之间的向量距离来表征像素之间的相似性，距离越大则相似性越小。
具体地，在SLIC算法的迭代过程中，固定目标节点vj的位置坐标(xi，yi)作为聚类中心，以此生成与每个vi对应的簇Ci；其中，vi表征节点集中第i个节点，vi∈V，V为节点集。
然后，计算目标节点对应的簇中所有像素点的特征的平均值，作为该目标节点对应的节点特征。
例如，可以基于公式：
Figure BDA0003662510810000101
确定目标节点对应的节点特征，其中，fi为第i个节点对应的节点特征；Ci为第i个节点对应的簇；|Ci|为Ci中的像素数，(cxj，cyj)为Ci中第j个像素点的坐标，(cxj，cyj)为Ci中第j个像素点的特征。
需要说明的是，在该实施例中，fi为长为64的一维向量。
在生成目标节点对应的节点特征之后，通过计算任意两个节点之间的相似度，即可生成样本第一邻接矩阵。
以余弦相似度为例，则可以通过公式：
Figure BDA0003662510810000111
生成样本第一邻接矩阵，其中，Ai，j为第i个节点和第j个节点之间的余弦相似度；ei，j为第i个节点和第j个节点构造的边；E为边集；fi为第i个节点对应的节点特征；fj为第j个节点对应的节点特征；Ner(vi)为第i个节点vi的相邻节点的集合。
基于Ai，j即可生成样本第一邻接矩阵。
当然，在其他实施例中，也可以采用其他方式确定任意两个节点之间的相似度，本发明不作限定。
在得到样本第一邻接矩阵后，可以采用图形连接约束模块优化第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵。
图形连接约束模块包括图神经网络(Graph Neural Network，GNN)和卷积神经网络(Convolutional Neural Networks，CNN)。
其中，GNN通过聚合非欧几里得域中的节点特征来发现连接节点之间的关系从而提高分割性能。
CNN为包含卷积计算且具有深度结构的前馈神经网络，可用于进行监督学习。
例如，可以使用插件模式将GNN与CNN结合，使得GNN仅在训练阶段约束血管连通性，以对样本第一邻接矩阵进行优化训练，生成第二邻接矩阵。
需要说明的是，在本发明中，是有选择的生成边标签，并基于边标签进行链路预测；而并非将所有现有边作为正边进行链路预测，以有效提高血管的拓扑结构与连通性。边标签的确定过程将在后续实施例中进行说明，在此暂不作赘述。
在该步骤中，链路预测任务在维持血管分割连通性方面表现出色能力。
在一些实施例中，基于节点特征和样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵，可以包括：
基于图卷积对节点特征进行编码，生成节点嵌入表示；
使用内积对嵌入表示进行解码，生成第二邻接矩阵。
在该实施例中，可以通过LP-GCCM网络来增强血管连通性，以生成第二邻接矩阵。
采用GNN通过图卷积对节点特征进行编码以获得每一个节点特征对应的节点嵌入表示，并使用内积对节点嵌入表示进行解码以重建邻接矩阵，生成第二邻接矩阵。
在一些实施例中，使用内积对嵌入表示进行解码，生成第二邻接矩阵，可以包括：
基于公式：
Figure BDA0003662510810000121
with Z＝Encoder(f，A)
生成第二邻接矩阵，其中，
Figure BDA0003662510810000122
为第二邻接矩阵，Z为节点嵌入表示，f为节点特征，A为样本第一邻接矩阵，Encoder为目标图卷积层，σ为sigmoid函数。
在该实施例中，目标图卷积层可以为任意图卷积层。
在变分图规范化自动编码器(VGNAE)中，编码器是使用L2归一化的图归一化卷积网络(GNGN)。
发明人在研发过程中发现，传统U-net被广泛应用在医学图像分割领域中并成为了多个分割任务的基线。相关技术中，存在U-net变体的模型，通过改进传统U-net网络架构或训练策略以达到更好的分割性能，如nnU-net模型，其作为一种基于U-net的开箱即用工具，在许多医学分割任务中无需人工干预即可生成最先进的分割结果。然而，这些基于CNN的方法大都是在均匀加权的像素损失下进行训练的，以至于其通常忽略血管之间相对较弱的联系，破坏了血管分割的拓扑结构和连通性。
发明人在研发过程中还发现，相关技术中，存在基于GNN的医学图像分割技术，基于GNN的模型通常将图像切分成不重叠的子区域，并从其中取一些像素进行采样来构建图节点及其特征；若两个节点都在血管上且两点之间距离较近，则将节点之间用边连接起来。然而，一方面，这种图构建方式会产生许多冗余和孤立的节点，这些不需要的节点大大增加了图构建和训练过程中的计算成本；另一方面，该方法仅使用GNN作为节点分类的下游任务，旨在将子区域标记为血管或非血管区域，对血管分割结果的拓扑结构和连通性帮助甚微。
而在本发明中，将血管拓扑结构的GNN通过插件模式与经典的CNN模型相结合进行血管分割，首先，使用U-net作为基础分割模型以产生分割结果(即样本第一邻接矩阵)和用于图构建的节点特征；然后使用来自U-net的语义信息作为节点特征，扩展图形连接约束模块(GCCM)来预测节点之间的连接，以实现链路预测任务并维持血管拓扑结构。经试验表明，本发明的方法能更有效利用来自CNN模型的语义信息，显著减少模型训练的时间；基于链路预测，还能够有效维持血管分割连通性。
在本发明中，通过集成模型的方法基于基础U-net的血管分割和基于链路预测图神经网络模块的血管分割取并集，避免因灾难性的遗忘现象导致的GNN破坏基础分割模型U-net的性能，从而提高整体分割准确性和血管的连通性。
根据本发明实施例提供的通过图神经网络的链路预测进行血管分割的方法，通过集成模型的方法基于基础U-net的血管分割和基于链路预测图神经网络模块的血管分割取并集，避免因灾难性的遗忘现象导致的GNN破坏基础分割模型U-net的性能，从而提高整体分割准确性和血管的连通性。
在一些实施例中，在基于样本血管图像的节点集和边集，生成样本第一邻接矩阵之前，该方法还可以包括：
基于样本血管图像中血管的人工注释，生成血管的骨架结构；
在骨架结构上进行角点采样，生成节点集；节点集包括角点，各角点间欧几里德距离不低于第一目标阈值；
基于血管的人工注释，生成节点集中两个节点之间的测地距离；
在测地距离小于第二目标阈值的情况下，在测地距离对应的节点之间构造边，生成边集；
基于骨架和边集之间的距离，确定边集中目标边的正负值。
在该实施例中，角点为图像中的像素点，可以将角点作为图的节点。
血管的人工注释(GT)为人工标注的血管基本架构。
目标边为边集中的任意边。
目标边的正负值用于确定边标签。
在实际执行过程中，给定血管人工注释，如图3(a)所示；并应用形态学方法获得人工注释的骨架结构IS，如图3(b)所示；然后在骨架结构IS上进行角点采样，将采样得到的角点作为节点，生成节点集。
需要说明的是，在角点采样过程中，应满足角点间欧几里德距离不低于第一目标阈值。
其中，第一目标阈值可以基于用户自定义，如将第一目标阈值设置为5，以确保角点分布在血管上。
例如，可以应用公式：
Figure BDA0003662510810000151
生成节点集，其中，V为节点集；vi为第i个节点；Nn为角点的数量；(xi，yi)为第i个节点的横纵坐标。
在一些实施例中，可以将Nn的上限设置为1000。
当然，在其他实施例中，也可以将Nn的上限设置为其他数值，将第一目标阈值设置为其他数值，本发明不作限定。
发明人在研发过程中发现，传统角点采集方法为从固定大小的子区域中提取像素，效率较低。例如，通过传统采集方法从DRIVE数据集中的第21张图像中总共采样20732个节点，然而，其中只有3380个节点之间存在边，大约6366个节点在黑色背景中，采样效率低，且采样效果不佳。
而在本发明中，通过在骨架上进行角点采样，使得各角点之间的欧几里德距离大于第一目标阈值，以生成节点集，既提高了采样效率，也能有效保证角点分布在血管上，显著提高了采样效果。
在生成节点集后，采用边缘构造方法，使用测地真实距离作为边构造的标准，构建边集。
构建过程中，可以通过快速行进方法计算节点集V中目标节点至节点集中其他任意节点的旅行时间T。对于目标节点vi，旅行时间可以如下公式计算：
Figure BDA0003662510810000152
其中，
Figure BDA0003662510810000153
为第i个节点vi至节点集V中其他任意节点的旅行时间T；S为速度函数，也即人工注释，表征节点在血管上的移动速度更快。
计算每个节点至其他节点之间的行程时间T(vi)，并将旅行时间作为测地距离，在测地距离小于第二目标阈值的两个节点之间构造边集，具体可通过公式：
Figure BDA0003662510810000161
构造边集，其中，E为边集；ei，j为由节点vi到节点vj的有向边；T(vi，vj)为节点vi和节点vj之间的旅行时间；thrett为第二目标阈值；Ne为边数。
其中，第二目标阈值可以基于用户自定义。
边标签用于训练链路预测。
可以通过骨架结构IS和边集E中的任意边ei，j之间的距离来确定边的正负性，并将正负性为正的边进行标记，作为边标签，其中ei，j∈E。
对于目标边ei，j，在图像中可以用线条表征。
计算ei，j与IS的最小距离，并将最小距离小于第三目标阈值thredis的距离确定为正，将最小距离不小于第三目标阈值thredis的距离确定为负，如图3(f)所示，其中，最小距离为正的边为正边，最小距离为负的边为负边，正边几乎与骨架结构IS重合。
需要说明的是，在本发明中，并非将所有现有边作为正边进行链路预测，而是将边与骨架结构之间的最小距离小于第三目标阈值的距离所对应的边确定为正边，并基于最终确定的正边进行链路预测，从而能有效提高预测结果的精确性和准确性。
根据本发明实施例提供的通过图神经网络的链路预测进行血管分割的方法，通过对标注血管进行骨架化处理，并将骨架上的角点作为节点，并使用来自U-net的语义信息作为节点特征；然后根据图节点之间的真实距离进行边构建，并将两个节点之间的余弦相似度作为边的权重，以生成第一邻接矩阵，可以有效利用来自CNN模型的语义信息，显著减少模型训练的时间。
下面对本发明提供的通过图神经网络的链路预测进行血管分割的装置进行描述，下文描述的通过图神经网络的链路预测进行血管分割的装置与上文描述的通过图神经网络的链路预测进行血管分割的方法可相互对应参照。
如图5所示，该通过图神经网络的链路预测进行血管分割的装置，包括：第一处理模块510和第二处理模块520。
第一处理模块510，用于将待测血管图像输入至U-net模型，获取由U-net模型输出的目标第一邻接矩阵；
第二处理模块520，用于基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图；
其中，U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
根据本发明实施例提供的通过图神经网络的链路预测进行血管分割的装置，通过优化后的U-net模型基于待测血管图像生成具有较优连通性以及拓展性的目标第一邻接矩阵，然后基于节点集、边集和目标第一邻接矩阵生成目标血管连通图，能够显著增强血管的拓扑结构和连通性，从而提高血管图像的分割效率和效果。
在一些实施例中，该装置还可以包括：
第三处理模块，用于基于样本血管图像的节点集和边集，生成样本第一邻接矩阵；
第四处理模块，用于基于节点特征和样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵；
第五处理模块，用于基于样本第一邻接矩阵和第二邻接矩阵，确定目标损失函数。
在一些实施例中，第三处理模块，还可以用于：
对节点集中目标节点进行聚类，生成与目标节点对应的簇；
基于目标节点对应的簇和簇中每个像素点的特征，生成目标节点对应的节点特征；
基于节点特征之间的余弦相似度，生成样本第一邻接矩阵。
在一些实施例中，第四处理模块，还可以用于：
基于图卷积对节点特征进行编码，生成节点嵌入表示；
使用内积对节点嵌入表示进行解码，生成第二邻接矩阵。
在一些实施例中，第四处理模块，还可以用于：
基于公式：
Figure BDA0003662510810000181
with Z＝Encoder(f，A)
生成第二邻接矩阵，其中，
Figure BDA0003662510810000182
为第二邻接矩阵，Z为节点嵌入表示，f为节点特征，A为第一邻接矩阵，Encoder为目标图卷积层，σ为sigmoid函数。
在一些实施例中，该装置还可以包括第五处理模块，用于：
在基于样本血管图像的节点集和边集，生成样本第一邻接矩阵之前，基于样本血管图像中血管的人工注释，生成血管的骨架结构；
在骨架结构上进行角点采样，生成节点集；节点集包括角点，各角点间欧几里德距离不低于第一目标阈值；
基于血管的人工注释，生成节点集中两个节点之间的测地距离；
在测地距离小于第二目标阈值的情况下，在测地距离对应的节点之间构造边，生成边集；
基于骨架和边集之间的距离，确定边集中目标边的正负值。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行通过图神经网络的链路预测进行血管分割的方法，该方法包括：将待测血管图像输入至U-net模型，获取由U-net模型输出的目标第一邻接矩阵；基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图；其中，U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的通过图神经网络的链路预测进行血管分割的方法，该方法包括：将待测血管图像输入至U-net模型，获取由U-net模型输出的目标第一邻接矩阵；基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图；其中，U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的通过图神经网络的链路预测进行血管分割的方法，该方法包括：将待测血管图像输入至U-net模型，获取由U-net模型输出的目标第一邻接矩阵；基于待测血管图像的节点集、边集和目标第一邻接矩阵，生成目标血管连通图；其中，U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种通过图神经网络的链路预测进行血管分割的方法，其特征在于，包括：
将待测血管图像输入至U-net模型，获取由所述U-net模型输出的目标第一邻接矩阵；
基于所述待测血管图像的节点集、边集和所述目标第一邻接矩阵，生成目标血管连通图；
其中，所述U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
2.根据权利要求1所述的通过图神经网络的链路预测进行血管分割的方法，其特征在于，在所述将待测血管图像输入至U-net模型之前，所述方法包括：
基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵；
基于节点特征和所述样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵；
基于所述样本第一邻接矩阵和所述第二邻接矩阵，确定所述目标损失函数。
3.根据权利要求2所述的通过图神经网络的链路预测进行血管分割的方法，其特征在于，所述基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵，包括：
对所述节点集中目标节点进行聚类，生成与所述目标节点对应的簇；
基于所述目标节点对应的簇和所述簇中每个像素点的特征，生成所述目标节点对应的节点特征；
基于所述节点特征之间的余弦相似度，生成所述样本第一邻接矩阵。
4.根据权利要求2所述的通过图神经网络的链路预测进行血管分割的方法，其特征在于，所述基于节点特征和所述样本第一邻接矩阵，预测节点之间的链路，生成第二邻接矩阵，包括：
基于图卷积对所述节点特征进行编码，生成节点嵌入表示；
使用内积对所述节点嵌入表示进行解码，生成所述第二邻接矩阵。
5.根据权利要求4所述的通过图神经网络的链路预测进行血管分割的方法，其特征在于，所述使用内积对所述节点嵌入表示进行解码，生成所述第二邻接矩阵，包括：
基于公式：
Figure FDA0003662510800000021
with Z＝Encoder(f,A)
生成所述第二邻接矩阵，其中，
Figure FDA0003662510800000022
为所述第二邻接矩阵，Z为所述节点嵌入表示，f为所述节点特征，A为所述样本第一邻接矩阵，Encoder为目标图卷积层，σ为sigmoid函数。
6.根据权利要求2所述的通过图神经网络的链路预测进行血管分割的方法，其特征在于，在所述基于所述样本血管图像的节点集和边集，生成样本第一邻接矩阵之前，所述方法包括：
基于所述样本血管图像中血管的人工注释，生成所述血管的骨架结构；
在所述骨架结构上进行角点采样，生成所述节点集；所述节点集包括角点，各所述角点间欧几里德距离不低于第一目标阈值；
基于所述血管的人工注释，生成所述节点集中两个所述节点之间的测地距离；
在所述测地距离小于第二目标阈值的情况下，在所述测地距离对应的节点之间构造边，生成所述边集；
基于所述骨架和所述边集之间的距离，确定所述边集中目标边的正负值。
7.一种通过图神经网络的链路预测进行血管分割的装置，其特征在于，包括：
第一处理模块，用于将待测血管图像输入至U-net模型，获取由所述U-net模型输出的目标第一邻接矩阵；
第二处理模块，用于基于所述待测血管图像的节点集、边集和所述目标第一邻接矩阵，生成目标血管连通图；
其中，所述U-net模型为，以带边标签的样本血管图像为训练样本，基于目标损失函数，训练得到。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述通过图神经网络的链路预测进行血管分割的方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所通过图神经网络的链路预测进行血管分割的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述通过图神经网络的链路预测进行血管分割的方法。
CN202210583355.2A 2022-05-25 2022-05-25 通过图神经网络的链路预测进行血管分割的方法和装置 Pending CN115170599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583355.2A CN115170599A (zh) 2022-05-25 2022-05-25 通过图神经网络的链路预测进行血管分割的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583355.2A CN115170599A (zh) 2022-05-25 2022-05-25 通过图神经网络的链路预测进行血管分割的方法和装置

Publications (1)

Publication Number Publication Date
CN115170599A true CN115170599A (zh) 2022-10-11

Family

ID=83483664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583355.2A Pending CN115170599A (zh) 2022-05-25 2022-05-25 通过图神经网络的链路预测进行血管分割的方法和装置

Country Status (1)

Country Link
CN (1) CN115170599A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524191A (zh) * 2023-05-11 2023-08-01 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法
CN116524191B (zh) * 2023-05-11 2024-01-19 山东省人工智能研究院 融入测地线投票算法的深度学习网络的血管分割方法

Similar Documents

Publication Publication Date Title
Wickramasinghe et al. Voxel2mesh: 3d mesh model generation from volumetric data
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
WO2019178702A9 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
TWI786330B (zh) 一種圖像處理方法、電子設備及存儲介質
JP7182021B2 (ja) キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体
CN111612008A (zh) 基于卷积网络的图像分割方法
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
Gao et al. Deep graph matching under quadratic constraint
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN113065525A (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
CN115170599A (zh) 通过图神经网络的链路预测进行血管分割的方法和装置
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
WO2024060839A1 (zh) 对象操作方法、装置、计算机设备以及计算机存储介质
CN111144469A (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
Jia et al. A mix-supervised unified framework for salient object detection
Cheng et al. Stacked learning to search for scene labeling
Fareed et al. Salient region detection through salient and non-salient dictionaries
CN116630628B (zh) 一种主动脉瓣钙化分割方法、系统、设备及存储介质
CN113688842B (zh) 一种基于解耦合的局部图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination