CN116630334B - 用于多分段血管实时自动分割方法、装置、设备及介质 - Google Patents

用于多分段血管实时自动分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN116630334B
CN116630334B CN202310446004.1A CN202310446004A CN116630334B CN 116630334 B CN116630334 B CN 116630334B CN 202310446004 A CN202310446004 A CN 202310446004A CN 116630334 B CN116630334 B CN 116630334B
Authority
CN
China
Prior art keywords
features
image
network
priori
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310446004.1A
Other languages
English (en)
Other versions
CN116630334A (zh
Inventor
刘市祺
来志超
王超楠
宋猛
谢晓亮
周小虎
侯增广
马西瑶
张林森
刘暴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310446004.1A priority Critical patent/CN116630334B/zh
Publication of CN116630334A publication Critical patent/CN116630334A/zh
Application granted granted Critical
Publication of CN116630334B publication Critical patent/CN116630334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于多分段血管实时自动分割方法、装置、设备及介质，其中方法包括：获取待分割图像；将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果；血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图，还用于基于融合特征和特征图进行血管分割；类别先验网络用于基于类别先验知识，得到类别先验特征，结构先验网络用于基于结构先验知识，得到结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征。本发明提供的方法、装置、设备及介质，提高了血管分割的准确性和可靠性。

Description

用于多分段血管实时自动分割方法、装置、设备及介质
技术领域
本发明涉及血管分割技术领域，尤其涉及一种用于多分段血管实时自动分割方法、装置、设备及介质。
背景技术
血管介入技术能够有效治疗血管疾病，具有创伤小、反应低、恢复快的优点，还具有靶向性特点，可使部分不能耐受手术或失去手术机会或耐药患者得到有效治疗，在部分领域已经取代外科手术成为首选治疗方式。
然而，这一任务目前面临着以下难点：(1)由于DSA(digital subtractionangiography，数字减影血管造影)的低质量成像以及影像中腹部内容物的伪影造成血管边界相对模糊；(2)造影剂随血流高速扩散，导致其分布不均匀，在部分血管中像素灰度差异较大，无法判断血管的准确边界；(3)不同于自然图像，血管分段之间没有明确的分界线，因此将不同分段的血管准确分割也是挑战性问题。
发明内容
本发明提供一种用于多分段血管实时自动分割方法、装置、设备及介质，用以解决现有技术中DSA图像中血管分段之间没有明确的分界线，导致血管分割的准确率低的缺陷。
本发明提供一种用于多分段血管实时自动分割方法，包括：
获取待分割图像；
将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
根据本发明提供的一种用于多分段血管实时自动分割方法，所述类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络；
所述图像特征提取网络用于对所述图像特征进行语义特征提取，得到深层特征，所述类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，所述融合网络用于对所述深层特征和所述类别先验提取特征进行融合，得到类别先验特征。
根据本发明提供的一种用于多分段血管实时自动分割方法，所述主干网络包括编码部分、解码部分和若干全局先验注意力模块；
所述编码部分与所述解码部分连接，所述编码部分包括多个串联的编码器，所述解码部分包括多个串联的解码器；
所述全局先验注意力模块用于对所述编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征；
所述解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
根据本发明提供的一种用于多分段血管实时自动分割方法，所述全局先验注意力模块包括第一分支和第二分支；
所述第一分支用于提取所述图像特征的隐藏层特征和各类别血管的语义特征，并基于所述隐藏层特征和所述各类别血管的语义特征提取第一注意力特征，并基于所述第一注意力特征和所述各类别血管的语义特征，得到第二注意力特征；
所述第二分支用于基于所述第二注意力特征和所述图像特征确定所述全局先验注意力特征。
根据本发明提供的一种用于多分段血管实时自动分割方法，所述结构先验网络包括稀疏掩码分支和卷积分支；
所述稀疏掩码分支用于对所述特征图进行卷积操作和聚合操作，得到稀疏掩码特征，所述卷积分支用于对所述特征图进行卷积操作，得到卷积特征，并基于所述卷积特征和所述稀疏掩码特征确定所述结构先验特征。
根据本发明提供的一种用于多分段血管实时自动分割方法，所述血管分割模型的训练步骤包括：
获取初始血管分割模型、样本图像以及所述样本图像的标签真值图像；
将所述样本图像输入至初始血管分割模型，得到所述初始血管分割模型输出的血管预测分割结果、所述样本图像的图像特征、所述样本图像的稀疏掩码特征，并基于所述初始血管分割模型的主干网络中的融合卷积模块，对所述样本图像的图像特征进行融合卷积，得到融合卷积特征；
基于所述血管预测分割结果与所述样本图像的标签真值图像之间的差异、所述样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异，以及所述样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异，对所述初始血管分割模型进行参数迭代，得到所述血管分割模型。
本发明还提供一种用于多分段血管实时自动分割装置，包括：
获取单元，用于获取待分割图像；
血管分割单元，用于将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于多分段血管实时自动分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于多分段血管实时自动分割方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用于多分段血管实时自动分割方法。
本发明提供的用于多分段血管实时自动分割方法、装置、设备及介质，将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果，血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络，主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图，类别先验网络用于基于类别先验知识，对图像特征进行血管分类，得到类别先验特征，结构先验网络用于基于结构先验知识，对特征图进行血管分类，得到结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征；主干网络还用于基于融合特征和特征图进行血管分割。类别先验网络和结构先验网络的结合可以有效地引导血管分割模型学习更好的数据表示，提高了血管分割的准确性和可靠性，并且，对于不同病人的复杂血管图像也具有很强的鲁棒性，且不需要预处理、人工操作就能得到准确的分割结果，自动化程度高，进一步提高了血管分割的实时响应性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的用于多分段血管实时自动分割方法的流程示意图；
图2是本发明提供的血管分割模型的结构示意图；
图3是本发明提供的类别先验网络的结构示意图；
图4是本发明提供的全局先验注意力模块的结构示意图；
图5是本发明提供的推理时间和参数数量的示意图；
图6是本发明提供的用于多分段血管实时自动分割装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
相关技术中，腹部及胸部血管包括髂动脉、腹主动脉、双肾动脉、肠系膜上动脉以及胸主动脉。动脉瘤以及狭窄闭塞是这些血管的主要病变，例如腹主动脉瘤、胸主动脉夹层、肾动脉闭塞等。随着人口老龄化以及高血压、动脉硬化等高危因素的增加，主动脉瘤以及主动脉夹层的发病率也随之增高，严重威胁着人类的生命健康，给诸多患者带来无限的痛苦和生命危险。这些主动脉疾病大多病情凶险，致死率和致残率较高，治疗难度较大。
腹主动脉瘤是腹主动脉在动脉粥样硬化、创伤、感染等各种病理因素的作用下，以局部扩张向外膨出为主要表现的大血管疾病。腹主动脉瘤的患病率占主动脉瘤的63％-79％。瘤体可能产生血栓，引起远端肢体缺血坏死，严重可能导致肢体截肢。瘤体一旦破裂，死亡率高达50％-80％。
介入手术治疗是近年迅速发展起来的一种融合了影像判断和临床治疗于一体的治疗方法。它是在数字减影血管造影机、CT(Computed Tomography，电子计算机断层扫描)、超声和磁共振等影像设备的引导和监视下，利用穿刺针、导管及其他介入器材，通过人体自然孔道或微小的创口将支架等特定的手术器械导入人体病变部位进行微创治疗的一系列技术的总称。目前已经成为与传统的内科、外科手术并列的临床三大支柱性治疗学科。血管介入技术能够有效治疗血管疾病，具有创伤小、反应低、恢复快的优点，还具有靶向性特点，可使部分不能耐受手术或失去手术机会或耐药患者得到有效治疗，在部分领域已经取代外科手术成为首选治疗方式。首先，常见的用于血管介入治疗的腹部以及胸部血管疾病包括主动脉瘤、主动脉夹层、髂动脉或股动脉狭窄与闭塞、肾动脉狭窄等。
血管介入手术的做法具体做法为：第一，在术前CTA(Computed TomographicAngiography，计算机断层扫描血管造影)图像中明确血管的病变严重程度以及血管大致形状，制定相关手术计划。
第二，明确介入血管的入路，临床上常用的有股动脉入路以及桡动脉穿刺入路，并且明确入路直径。
第三，明确入路之后，要在导丝、导管的引导下超选病变血管，通过病变血管抄选后，完成相应的血管造影，以明确病变的部位、性质以及病变的程度，同时评估是否需要介入治疗或是选择开刀治疗。
最后，根据病变的程度以及病变的性质选择不同的支架来进行支架植入术。
基于上述步骤的血管介入手术无需开胸以及体外循环，引起的中枢系统并发症也比较少，因此微创血管介入手术在最近三十年中得到了迅速发展。但同时该手术也存在一些明显的不足：1)微创血管介入手术中需要使用X射线引导，正对病人胸部。这意味着医护人员和患者都在处于高辐射的X射线的照射环境下。每次介入手术大概要一个小时左右，而复杂的手术则需要四到五个小时。医护人员长时间在如此恶劣环境下进行手术，身体受到的辐射非常大。2)人体的血管直径一般在5mm以下，所以在微创血管介入手术过程中医生会感到非常疲劳。由此会引起医生手部颤抖、肌肉神经的反馈、眼部视力模糊，导致动作不准确。这些因素都将直接影响微创血管介入手术的质量和手术精度，降低患者术后的生存质量以及并发症的增加。此外器械在血管中的任何失误和重复都有可能增加人体血管壁的损伤。3)微创血管介入手术的过程非常繁杂，医生需要经过大量的训练才能够掌握实际手术操作能力。在手术过程中，经常会出现X射线影像的模糊以及导丝在人体内的某些狭小的、分支数目较多的血管递送的情况，这些情况都需要医生有很好的观察力和高超的技术。
目前机器人和计算机辅助的一些技术已经与临床紧密结合，从而提高医生操作的敏捷度和准确度。作为机器人辅助介入手术的必要环节，实时且全自动的多分段血管分割的方法可以为医生们提供必要的视觉和触觉反馈辅助。
然而，这一任务目前面临着以下难点：(1)由于DSA影像的低质量成像以及影像中腹部内容物的伪影造成血管边界相对模糊；(2)造影剂随血流高速扩散，导致其分布不均匀，在部分血管中像素灰度差异较大，无法判断血管的准确边界；(3)不同于自然图像，血管分段之间没有明确的分界线，因此将不同分段的血管准确分割也是挑战性问题。
并且，血管的形状极其不规则，同一张造影图像中的血管的粗细差异很大，并且通常具有多个分支。同时，每个人的血管成像有极大的差异性。这些都对血管的准确分割造成了困难。关于血管分割算法的研究有很多。根据成像的维度可以分为三维血管分割(CTA或者MRA(Magnetic Resonance Angiography，磁共振血管成像)和二维血管分割(DSA/超声)。早期血管分割方法主要是基于跟踪轨迹的方法以及基于模型变换的方法，这些方法需要人工设计的特征，并且无法保证血管分割的有效性。
基于上述问题，本发明提供一种用于多分段血管实时自动分割方法，图1是本发明提供的用于多分段血管实时自动分割方法的流程示意图，如图1所示，该方法包括：
步骤110，获取待分割图像。
具体地，可以获取待分割图像，此处的待分割图像是指后续用于血管分割的图像，此处的待分割图像可以是DSA(digital subtraction angiography，数字减影血管造影)图像等，例如，待分割图像可以是腹部血管的DSA影像，也可以是脑血管的DSA影像，还可以是冠状动脉的DSA影像等，本发明实施例对此不作具体限定。
例如，当待分割图像是腹部血管的DSA影像时，腹部血管可以包括六种关键血管分段：双肾动脉(Renal Artery，RA)、肠系膜上动脉(Superior Mesenteric Artery，SMA)、肾动脉至腹主动脉瘤分段(Renal Artery to Abdominal Aortic Aneurysm，RA-AAA)、腹主动脉瘤(Abdominal Aortic Aneurysm，AAA)、腹主动脉瘤至髂动脉分段(Abdominal AorticAneurysm to Common Iliac Artery，AAA-CIA)和髂总动脉(Common Iliac Artery，CIA)。
步骤120，将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
具体地，图2是本发明提供的血管分割模型的结构示意图，如图2所示，在获取到待分割图像之后，可以将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果。
此处的血管分割模型可以包括主干网络、类别先验网络、结构先验网络和动态控制网络，此处的主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图。主干网络可以包括编码部分、解码部分、若干全局先验注意力模块以及融合卷积模块。
此处的全局先验注意力模块用于提高主干网络对于特征的细化，使得主干网络能够通过更加关注DSA影像所特有的先验知识来强化特征表达，即获取不同类别的血管分段之间具有的空间连接关系。
其中，编码部分可以包括6个卷积模块，每个卷积模块可以包括两个连接的卷积操作，包括一个3×3卷积、Batch Norm操作和ReLU(Rectified Linear Unit)函数。解码部分可以包括5个解码模块，也可以包括4个解码模块等，本发明实施例对此不作具体限定。
例如，可以将一个大小为512×512×3的待分割图像输入至主干网络进行六次卷积操作实现下采样和特征提取，经过编码器后的特征图的分辨率降为64×64×512。编码器之后连接一个融合卷积模块进一步提取图像特征，同时利用融合卷积操作之后的特征图输入到对称的解码器中进行上采样和特征融合操作，将特征图的分辨率恢复到512×512×3，由此，提高特征映射的分辨率，压缩通道数。
此处的类别先验网络用于基于类别先验知识，对图像特征进行血管分类，得到类别先验特征，此处的类别先验知识是指待分割图像中特有的不同类别分段之间的概率关系，此处的类别先验特征反映了图像特征中类别分割层面的特征信息。
此处的类别先验网络可以包括图像特征提取网络、类别先验提取网络和融合网络。此处的图像特征提取网络可以包括聚合层和池化层，此处的类别先验提取网络可以包括卷积层，此处的卷积层可以是GCN(Graph Convolutional Neural Networks，图卷积神经网络)，也可以是级联结构的多层卷积神经网络(Convolutional Neural Network，CNN)，还可以是深度神经网络(Deep Neural Networks，DNN)等，本发明实施例对此不作具体限定。
此处的结构先验网络用于基于结构先验知识，对特征图进行血管分类，得到结构先验特征，此处的结构先验知识是指结构层面的先验知识，此处的结构先验特征反映了结构层面的特征信息。此处的结构先验网络可以包括稀疏掩码分支和卷积分支。此处的稀疏掩码分支可以包括Argmax层和卷积层。
为了更好地利用类别先验特征以及结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征。此处，对类别先验特征、结构先验特征和图像特征进行特征融合，可以是将类别先验特征、结构先验特征和图像特征进行拼接，还可以是利用注意力机制将类别先验特征、结构先验特征和图像特征进行加权之后再拼接，本发明实施例对此不作具体限定。
此外，在对类别先验特征、结构先验特征和图像特征进行特征融合之前，还可以基于池化层对图像特征进一步提取特征信息，此处的池化层可以是全局最大池化层(GlobalMax Pooling，GMP)，也可以是平均池化层(Average Pooling)等，本发明实施例对此不作具体限定。
动态控制网络获得最终动态分割层的卷积参数，该动态分割层包含3个连续的卷积层，每个卷积层有1×1核和偏差。动态控制网络对类别先验特征、结构先验特征和图像特征进行特征融合，然后针对动态分割头动态生成3层卷积核参数w1,w2,w3。
此处的主干网络还用于基于融合特征和特征图进行血管分割，此处，基于融合特征和特征图进行血管分割，可以先对融合特征和特征图进行特征融合，再基于特征融合后的特征进行血管分割。
此处，对融合特征和特征图进行特征融合，可以是将融合特征和特征图进行拼接，还可以是利用注意力机制将融合特征和特征图进行加权之后再拼接，本发明实施例对此不作具体限定。
此处，基于融合特征和特征图进行血管分割的公式如下：
其中，分别为结构先验特征、类别先验特征和图像特征的卷积核参数，M为特征图。
本发明实施例提供的方法，将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果，血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络，主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图，类别先验网络用于基于类别先验知识，对图像特征进行血管分类，得到类别先验特征，结构先验网络用于基于结构先验知识，对特征图进行血管分类，得到结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征；主干网络还用于基于融合特征和特征图进行血管分割。类别先验网络和结构先验网络的结合可以有效地引导血管分割模型学习更好的数据表示，提高了血管分割的准确性和可靠性，并且，对于不同病人的复杂血管图像也具有很强的鲁棒性，且不需要预处理、人工操作就能得到准确的分割结果，自动化程度高，进一步提高了血管分割的实时响应性。
基于上述实施例，图3是本发明提供的类别先验网络的结构示意图，如图3所示，所述类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络；
所述图像特征提取网络用于对所述图像特征进行语义特征提取，得到深层特征，所述类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，所述融合网络用于对所述深层特征和所述类别先验提取特征进行融合，得到类别先验特征。
具体地，类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络，此处的图像特征提取网络可以包括多个聚合层和池化层，此处的类别先验提取网络可以包括多个卷积层，此处的卷积层可以是GCN(Graph Convolutional Neural Networks，图卷积神经网络)，也可以是级联结构的多层卷积神经网络(Convolutional Neural Network，CNN)，还可以是深度神经网络(Deep Neural Networks，DNN)等，本发明实施例对此不作具体限定。
图像特征提取网络用于对图像特征进行语义特征提取，得到深层特征，类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征。
此处的类别先验知识是指待分割图像中特有的不同类别分段之间的概率关系，此处的类别先验提取特征反映了图像特征中类别分割层面提取到的特征信息。
图像特征提取网络的聚合层提取主干网络的编码部分中的四个卷积模块中的特征图进行特征融合，获得图像中的高级语义信息，其具体的实现方式可以用公式表示为：
其中，使用表示从编码器中提取的特征映射，X4表示深层特征，/>表示对应的1×1卷积，/>表示下采样卷积，Concat是通道级连接。/>是通过全局最大池化(GMP)从Z4导出的聚合特征。
同时，利用DSA血管影像的特征，即造影剂由上至下流动，使得血管分段在影像中的出现具有一定的概率关系，来构建图卷积网络中的邻接矩阵A。此外，使用词向量代表不同的血管类别，使用Glove(Global Vectors for Word Representation)方法训练得到初始血管分类特征表示多分支血管的分布特征，其中N是类别数，M是类级词嵌入的维数，M可以设置为300。从而，类别先验提取特征Ei+1可以表示为：
Ei+1＝g(AEiWi)
其中，i∈(1,2)表示GCN层数，E2是最终生成的相关图。最终，融合网络对获取的深层特征以及经过图卷积提取的类别先验提取特征进行特征融合，得到类别先验特征VC：
VC＝Z*×(E2)T
本发明实施例提供的方法，类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络，图像特征提取网络用于对图像特征进行语义特征提取，得到深层特征，类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，融合网络用于对深层特征和类别先验提取特征进行融合，得到类别先验特征，提高了类别先验特征提取的准确性和可靠性，进一步提高了后续血管分割的准确性和可靠性。
基于上述实施例，所述主干网络包括编码部分、解码部分和若干全局先验注意力模块；
所述编码部分与所述解码部分连接，所述编码部分包括多个串联的编码器，所述解码部分包括多个串联的解码器；
所述全局先验注意力模块用于对所述编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征；
所述解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
具体地，主干网络可以包括编码部分、解码部分和若干全局先验注意力模块，此处的编码部分与解码部分连接，编码部分包括多个串联的编码器，解码部分包括多个串联的解码器。例如，如图2所示，编码部分包括6个卷积模块，解码部分包括5个解码模块。
全局先验注意力模块用于对编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征。即，此处的全局先验注意力模块用于提高主干网络对于特征的细化，使得主干网络能够通过更加关注DSA影像所特有的先验知识来强化特征表达，即获取不同类别的血管分段之间具有的空间连接关系。
如图2所示，解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
基于上述实施例，图4是本发明提供的全局先验注意力模块的结构示意图，如图4所示，所述全局先验注意力模块包括第一分支和第二分支；
所述第一分支用于提取所述图像特征的隐藏层特征和各类别血管的语义特征，并基于所述隐藏层特征和所述各类别血管的语义特征提取第一注意力特征，并基于所述第一注意力特征和所述各类别血管的语义特征，得到第二注意力特征；
所述第二分支用于基于所述第二注意力特征和所述图像特征确定所述全局先验注意力特征。
具体地，考虑到全局先验注意力模块主要用来融合DSA血管影像所拥有的特征，即不同类别的血管分段之间具有空间连接关系，这种空间连接关系在普通的CNN特征提取过程中无法获得，因此，利用这种空间连接关系构建了用于图卷积的邻接矩阵AC。AC是一个对角元素均为1的对称矩阵，如果第i个和第j个对象是空间连接的，则否则，/>AC表示七个类的空间连接(包括血管和背景的6个子部分，C1为RA，C2为SMA，C3为RA-AAA,C4为AAA,C5为AAA-CIA，C6为CIA，bg为背景(background)，即C＝7)。
全局先验注意力模块可以包括第一分支和第二分支，此处的第一分支用于提取图像特征的隐藏层特征和各类别血管的语义特征，并基于隐藏层特征和各类别血管的语义特征提取第一注意力特征。
编码器的残差块输出的图像特征用表示，其中，N和H×W分别表示图像特征的分辨率和通道数。F首先同时经过两个带有N和C通道数的1×1卷积层，以生成FH和FC两个特征映射。/>表示图像特征的隐藏层特征，/>聚合了F中包含的每个类的语义信息，即/>表示各类别血管的语义特征。然后，FC和FH分别被重塑为和/>随后，在初始嵌入/>的初始原型可计算如下：
在初始嵌入后，根据上面的相邻矩阵AC采用GCN层(Graph Convolutional NeuralNetworks，图卷积神经网络)来模拟不同解剖原型之间的空间关联。每个GCN层采用卷积运算，则第一注意力特征为：
其中，是要学习的第i层的变换矩阵，/>表示非线性函数，i＝[1，…，l]。
此处的第一分支可以基于第一注意力特征和各类别血管的语义特征，得到第二注意力特征，此处的第二注意力特征的公式如下：
此处的第二分支用于基于第二注意力特征和图像特征确定全局先验注意力特征，此处的全局先验注意力特征反映了全局先验层面的特征信息，则全局先验注意力特征的公式为：
其中，γ是一个可学习的参数，作为剩余操作的大小因子。
然后，可以将经过细化的特征映射(全局先验注意力特征)发送到解码器进行解码。
本发明实施例提供的方法，全局先验注意力模块主要用来融合DSA血管影像所拥有的特征，即不同类别的血管分段之间具有空间连接关系，从而获取了在普通的CNN特征提取过程中无法获得的空间连接关系，提高了全局先验注意力特征的准确性和可靠性。
基于上述实施例，所述结构先验网络包括稀疏掩码分支和卷积分支；
所述稀疏掩码分支用于对所述特征图进行卷积操作和聚合操作，得到稀疏掩码特征，所述卷积分支用于对所述特征图进行卷积操作，得到卷积特征，并基于所述卷积特征和所述稀疏掩码特征确定所述结构先验特征。
具体地，结构先验网络可以包括稀疏掩码分支和卷积分支，此处的稀疏掩码分支用于对特征图M进行卷积操作和聚合操作，得到稀疏掩码特征，此处的稀疏掩码特征反映了结构层面的特征信息。卷积分支用于对特征图进行卷积操作，得到卷积特征。
即，结合解码器最后一层所得到的富含高级语义信息和细节特征的特征图，可以获取结构先验特征。具体来说，在特征图通过1×1卷积模块和聚合操作(聚合操作可以为argmax操作)后，可以得到一个稀疏掩码特征/>同时，从特征图M中进一步提取了卷积特征/>其中，N表示类的数量。
然后，MC和MF分别被重塑为和/>
最后，基于卷积特征和稀疏掩码特征确定结构先验特征VS为：
基于上述实施例，所述血管分割模型的训练步骤包括：
步骤210，获取初始血管分割模型、样本图像以及所述样本图像的标签真值图像；
步骤220，将所述样本图像输入至初始血管分割模型，得到所述初始血管分割模型输出的血管预测分割结果、所述样本图像的图像特征、所述样本图像的稀疏掩码特征，并基于所述初始血管分割模型的主干网络中的融合卷积模块，对所述样本图像的图像特征进行融合卷积，得到融合卷积特征；
步骤230，基于所述血管预测分割结果与所述样本图像的标签真值图像之间的差异、所述样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异，以及所述样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异，对所述初始血管分割模型进行参数迭代，得到所述血管分割模型。
具体地，为了更好地提高血管分割模型的分割性能，可以通过如下步骤获取血管分割模型：
可以预先获取初始血管分割模型、样本图像以及样本图像的标签真值图像，此处的初始血管分割模型即训练血管分割模型的初始模型，初始血管分割模型的参数可以是预先设置的，也可以是随机生成的，本发明实施例对此不作具体限定。
在得到初始血管分割模型后，即可应用预先收集好的样本图像以及样本图像的标签真值图像，对初始血管分割模型进行训练：
首先，将样本图像输入至初始血管分割模型，得到初始血管分割模型输出的血管预测分割结果，并由初始血管分割模型中的主干网络的编码部分输出样本图像的图像特征，由初始血管分割模型中的结构先验网络中的稀疏掩码分支输出样本图像的稀疏掩码特征。
然后，可以基于初始血管分割模型的主干网络中的融合卷积模块，对样本图像的图像特征进行融合卷积，得到融合卷积特征。
在得到血管预测分割结果、稀疏掩码特征和融合卷积特征之后，即可将血管预测分割结果与样本图像的标签真值图像进行比较，根据此两者之间的差异计算得到第一损失函数值，并可以将样本图像的稀疏掩码特征与样本图像的标签真值图像进行比较，根据此两者之间的差异计算得到第二损失函数值，以及可以将样本图像的融合卷积特征与样本图像的标签真值图像进行比较，根据此两者之间的差异计算得到第三损失函数值。
可以理解的是，血管预测分割结果与样本图像的标签真值图像之间的差异越大，第一损失函数值越大；血管预测分割结果与样本图像的标签真值图像之间的差异越小，第一损失函数值越小。
可以理解的是，样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异越大，第二损失函数值越大；样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异越小，第二损失函数值越小。
可以理解的是，样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异越大，第三损失函数值越大；样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异越小，第三损失函数值越小。
在得到第一损失函数值、第二损失函数值和第三损失函数值之后，可以基于第一损失函数、第二损失函数值和第三损失函数值对初始血管分割模型进行参数迭代，也可以基于第一损失函数、第二损失函数值和第三损失函数值的加权之和对初始血管分割模型进行参数迭代，并将参数迭代之后的初始血管分割模型作为血管分割模型。
其中，基于第一损失函数、第二损失函数值和第三损失函数值的加权之和对初始血管分割模型进行参数迭代的公式如下：
Lseg＝α1LCEL(R1，G)+α2LCEL(R2，G)+α3LCEL(R3，G)
其中，R1，R2，R3分别表示样本图像的稀疏掩码特征、样本图像的融合卷积特征和血管预测分割结果，G表示样本图像的标签真值图像，α1，α2，α3表示超参数，α1，α2，α3可以设置为0.2，0.3，1.0.
其中，LCEL表示融合交叉熵损失函数和Dice损失函数的损失函数，LCEL的公式如下：
LCEL＝(1-α)H-αlog(D)
/>
其中，D是Dice系数损失函数，H是交叉熵损失函数，调制因子α在α≥0的范围内可变。α是用于调整增强交叉熵损失函数和Dice系数损失函数之间平衡的超参数，在本发明实施例中可以设为0.2。
此处，可以使用Dice系数损失函数(Dice Loss)，也可以使用交叉熵损失函数(Cross Entropy Loss Function)，还可以使用均方误差损失函数(Mean Squared Error，MSE)等对初始血管分割模型的参数进行更新，本发明实施例对此不作具体限定。
即，在初始血管分割模型的训练过程中，学习到了对血管进行准确分割的能力。
本发明实施例提供的方法，基于血管预测分割结果与样本图像的标签真值图像之间的差异、样本图像的稀疏掩码特征与样本图像的标签真值图像之间的差异，以及样本图像的融合卷积特征与样本图像的标签真值图像之间的差异，对初始血管分割模型进行参数迭代，得到血管分割模型，利用了多个中间输出特征的深监督训练方法，并且结合了Dice系数损失函数和交叉熵损失函数的混合损失函数，可以有效解决类间数据不平衡的问题和错分类的问题，进一步提高了血管分割的准确性和可靠性。
基于上述任一实施例，一种用于多分段血管实时自动分割方法，步骤如下：
第一步，获取待分割图像。
第二步，将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果。
此处的血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络。
主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图。
类别先验网络用于基于类别先验知识，对图像特征进行血管分类，得到类别先验特征。类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络。图像特征提取网络用于对图像特征进行语义特征提取，得到深层特征，类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征。融合网络用于对深层特征和类别先验提取特征进行融合，得到类别先验特征。
结构先验网络用于基于结构先验知识，对特征图进行血管分类，得到结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征。
主干网络还用于基于融合特征和特征图进行血管分割。主干网络包括编码部分、解码部分和若干全局先验注意力模块。
编码部分与解码部分连接，编码部分包括多个串联的编码器，解码部分包括多个串联的解码器。全局先验注意力模块用于对编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征。
解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
此处的全局先验注意力模块包括第一分支和第二分支，第一分支用于提取图像特征的隐藏层特征和各类别血管的语义特征，并基于隐藏层特征和各类别血管的语义特征提取第一注意力特征，并基于第一注意力特征和各类别血管的语义特征，得到第二注意力特征。
此处的第二分支用于基于第二注意力特征和图像特征确定全局先验注意力特征。
此处的结构先验网络包括稀疏掩码分支和卷积分支，此处的稀疏掩码分支用于对特征图进行卷积操作和聚合操作，得到稀疏掩码特征，卷积分支用于对特征图进行卷积操作，得到卷积特征，并基于卷积特征和稀疏掩码特征确定结构先验特征。
此处的血管分割模型的训练步骤包括：
首先，获取初始血管分割模型、样本图像以及样本图像的标签真值图像。
然后，将样本图像输入至初始血管分割模型，得到初始血管分割模型输出的血管预测分割结果、样本图像的图像特征、样本图像的稀疏掩码特征，并基于初始血管分割模型的主干网络中的融合卷积模块，对样本图像的图像特征进行融合卷积，得到融合卷积特征。
最后，基于血管预测分割结果与样本图像的标签真值图像之间的差异、样本图像的稀疏掩码特征与样本图像的标签真值图像之间的差异，以及样本图像的融合卷积特征与样本图像的标签真值图像之间的差异，对初始血管分割模型进行参数迭代，得到血管分割模型。
此外，本发明实施例建立了多分支血管分割数据集，包括医院100例患者共1551张腹部DSA图像。每张图像的平均分辨率为1024×1024。使用Labelme标注工具准确标注了肾动脉(RA)、肠系膜上动脉(SMA)、肾动脉至腹主动脉瘤(RA-AAA)、腹主动脉瘤(AAA)、腹主动脉瘤至髂总动脉(AAA-CIA)、髂总动脉(CIA)六类血管。注释过程经过了临床专家的严格审查和指导。为了便于后续处理和分析，所有图像和标签都被调整为512×512像素。将数据集随机划分为训练集和测试集，分别包含1243张和308张图像。本发明实施例中将提出的用于多分段血管实时自动分割方法在建立的新数据集上进行了测试。
在本研究中，使用MIoU(Mean Intersection over Union)、95％HD95(Hausdorffdistance)和Dice评分作为评价分割性能的指标。MIoU是一个基于区域的评估指标，通过测量每个区域中预测的分割与地面真相之间的重叠来计算分割的平均精度。HD95通过计算预测边界与地面真实边界之间的最大距离来评估分割边界的质量。最后，Dice评分通过计算两者之间的重叠率来衡量预测分割和真值之间的相似性。
本发明实施例中所提出的血管分割模型使用PyTorch框架实现，并在Ubuntu20.04.1平台上使用两个NVIDIA-A6000显卡进行训练。本发明实施例采用Adam优化器进行训练，初始学习率为7e-5，权值衰减为0.5，动量为0.999。为了达到最佳性能，学习率每20个epoch降低0.9个因子。最大epoch步数设置为200，所有模型的批量大小固定为4。此外，在训练阶段使用了数据增强技术，包括随机旋转和随机垂直翻转。
类别先验网络和结构先验网络在提高网络性能方面的效果通过表1得到了证明。在本研究中，将类型先验特征、结构先验特征和图像特征三个特征向量提取、合并作为动态控制器的输入，生成动态分割头的核。值得注意的是，结果表明，将类别先验网络和结构先验网络添加到主干网络中可以显著提高性能，当两个先验网络都被合并时，可以获得最好的结果。具体而言，结果表明，类别先验网络和结构先验网络的结合可以有效地引导网络学习更好的数据表示，最终提高性能。
表1.实验结果
在特征聚合过程中，对用于原始特征映射捕获的编码器块的数量进行了评估。具体来说，测试了从3到5的宽度，并分析了它们对类别先验网络的性能和鲁棒性的影响。结果如表2所示，类别先验网络的性能在宽度为4时趋于稳定。根据经验，由此确定特征聚合的宽度为4最适合。
表2.不同数量的编码器的实验结果
在本发明实施例中，通过计算其平均Dice得分和MIoU，将U-Net中使用的一般跳过连接与所提出的全局先验注意力模块进行了比较。如表3所示，结果表明，与基线相比，所提出的全局先验注意力模块产生了1.48％的平均Dice得分和0.93％的MIoU的增加，这表明所提出的全局先验注意力模块提供了比一般跳过连接的增量改进。
表3.全局先验注意力模块的实验结果
MIoU mDice
Baseline 0.8190 0.8791
With GPA 0.8238 0.8939
为了验证所提出的用于多分段血管实时自动分割方法在多分支血管分割任务中的有效性，主要实验是通过将PaD-Net与目前最先进的医学图像分割方法(包括U-Net、u-net++、U-Net3+、TransUNet和Attention UNet)进行比较。表4显示了在六个类别中分割血管的每个分段的性能指标，在HD95指标方面表现出更好的性能，表明更好的血管连接分割。此外，在难以分割的AAA-CIA部分，用于多分段血管实时自动分割方法有了相当大的改进。
表4.单类分割对比实验结果
表4中血管分割模型用PaD-Net表示，表4中的结果表明，虽然大多数方法对容易分割的目标表现出良好的性能，但本发明实施例提出的方法对具有挑战性的目标取得了更好的结果。此外，PaD-Net在平均指标上表现优异，如表5所示，MIoU为82.83％，Dice平均得分为89.39％，HD95平均得分为23.21。这清楚地证明了本发明实施例所提供的方法对多分支血管分割任务的有效性。
表5.多类分割对比实验结果
Methods MIoU mDice Avg.HD95
UNet 0.8070 0.8230 34.58
UNet++ 0.7911 0.8457 39.14
UNet3+ 0.7790 0.8457 93.92
Att.UNet 0.7632 0.8375 42.36
TransUNet 0.7808 0.8481 35.67
PaD-Net 0.8283 0.8939 23.21
此外，为了对本发明实施例所提供的方法进行更全面和实时的评估，对推理时间和参数数量进行了计算。推理时间是基于300个空间大小切片的单个输入计算的。为了评估速度和准确性之间的权衡，比较了六种方法的性能，图5是本发明提供的推理时间和参数数量的示意图，如图5所示，血管分割模型用PaD-Net表示，与其他方法相比，该方法不仅具有轻量级和实时性，而且具有较高的分割精度和较少的参数。因此，血管分割模型具有更好的综合性能。
下面对本发明提供的多分段血管实时自动分割装置进行描述，下文描述的多分段血管实时自动分割装置与上文描述的多分段血管实时自动分割方法可相互对应参照。
基于上述任一实施例，本发明提供一种用于多分段血管实时自动分割装置，图6是本发明提供的用于多分段血管实时自动分割装置的结构示意图，如图6所示，该装置包括：
获取单元610，用于获取待分割图像；
血管分割单元620，用于将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
本发明实施例提供的装置，将待分割图像输入至血管分割模型，得到血管分割模型输出的血管分割结果，血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络，主干网络用于提取待分割图像的图像特征，并对图像特征进行解码得到特征图，类别先验网络用于基于类别先验知识，对图像特征进行血管分类，得到类别先验特征，结构先验网络用于基于结构先验知识，对特征图进行血管分类，得到结构先验特征，动态控制网络用于对类别先验特征、结构先验特征和图像特征进行特征融合，得到融合特征；主干网络还用于基于融合特征和特征图进行血管分割。类别先验网络和结构先验网络的结合可以有效地引导血管分割模型学习更好的数据表示，提高了血管分割的准确性和可靠性，并且，对于不同病人的复杂血管图像也具有很强的鲁棒性，且不需要预处理、人工操作就能得到准确的分割结果，自动化程度高，进一步提高了血管分割的实时响应性。
基于上述任一实施例，所述类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络；
所述图像特征提取网络用于对所述图像特征进行语义特征提取，得到深层特征，所述类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，所述融合网络用于对所述深层特征和所述类别先验提取特征进行融合，得到类别先验特征。
基于上述任一实施例，所述主干网络包括编码部分、解码部分和若干全局先验注意力模块；
所述编码部分与所述解码部分连接，所述编码部分包括多个串联的编码器，所述解码部分包括多个串联的解码器；
所述全局先验注意力模块用于对所述编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征；
所述解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
基于上述任一实施例，所述全局先验注意力模块包括第一分支和第二分支；
所述第一分支用于提取所述图像特征的隐藏层特征和各类别血管的语义特征，并基于所述隐藏层特征和所述各类别血管的语义特征提取第一注意力特征，并基于所述第一注意力特征和所述各类别血管的语义特征，得到第二注意力特征；
所述第二分支用于基于所述第二注意力特征和所述图像特征确定所述全局先验注意力特征。
基于上述任一实施例，所述结构先验网络包括稀疏掩码分支和卷积分支；
所述稀疏掩码分支用于对所述特征图进行卷积操作和聚合操作，得到稀疏掩码特征，所述卷积分支用于对所述特征图进行卷积操作，得到卷积特征，并基于所述卷积特征和所述稀疏掩码特征确定所述结构先验特征。
基于上述任一实施例，所述血管分割模型的训练步骤包括：
获取初始血管分割模型、样本图像以及所述样本图像的标签真值图像；
将所述样本图像输入至初始血管分割模型，得到所述初始血管分割模型输出的血管预测分割结果、所述样本图像的图像特征、所述样本图像的稀疏掩码特征，并基于所述初始血管分割模型的主干网络中的融合卷积模块，对所述样本图像的图像特征进行融合卷积，得到融合卷积特征；
基于所述血管预测分割结果与所述样本图像的标签真值图像之间的差异、所述样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异，以及所述样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异，对所述初始血管分割模型进行参数迭代，得到所述血管分割模型。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行用于多分段血管实时自动分割方法，该方法包括：获取待分割图像；将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的用于多分段血管实时自动分割方法，该方法包括：获取待分割图像；将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用于多分段血管实时自动分割方法，该方法包括：获取待分割图像；将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；所述主干网络还用于基于所述融合特征和所述特征图进行血管分割。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种用于多分段血管实时自动分割方法，其特征在于，包括：
获取待分割图像；
将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割；
所述类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络；
所述图像特征提取网络用于对所述图像特征进行语义特征提取，得到深层特征，所述类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，所述融合网络用于对所述深层特征和所述类别先验提取特征进行融合，得到类别先验特征；
所述结构先验网络包括稀疏掩码分支和卷积分支；
所述稀疏掩码分支用于对所述特征图进行卷积操作和聚合操作，得到稀疏掩码特征，所述卷积分支用于对所述特征图进行卷积操作，得到卷积特征，并基于所述卷积特征和所述稀疏掩码特征确定所述结构先验特征。
2.根据权利要求1所述的用于多分段血管实时自动分割方法，其特征在于，所述主干网络包括编码部分、解码部分和若干全局先验注意力模块；
所述编码部分与所述解码部分连接，所述编码部分包括多个串联的编码器，所述解码部分包括多个串联的解码器；
所述全局先验注意力模块用于对所述编码器输出的图像特征进行全局先验注意力提取，得到全局先验注意力特征；
所述解码器用于对前一解码器输出的前一解码结果和对应的全局先验注意力模块输出的全局先验注意力特征进行解码，得到当前解码结果。
3.根据权利要求2所述的用于多分段血管实时自动分割方法，其特征在于，所述全局先验注意力模块包括第一分支和第二分支；
所述第一分支用于提取所述图像特征的隐藏层特征和各类别血管的语义特征，并基于所述隐藏层特征和所述各类别血管的语义特征提取第一注意力特征，并基于所述第一注意力特征和所述各类别血管的语义特征，得到第二注意力特征；
所述第二分支用于基于所述第二注意力特征和所述图像特征确定所述全局先验注意力特征。
4.根据权利要求1至3中任一项所述的用于多分段血管实时自动分割方法，其特征在于，所述血管分割模型的训练步骤包括：
获取初始血管分割模型、样本图像以及所述样本图像的标签真值图像；
将所述样本图像输入至初始血管分割模型，得到所述初始血管分割模型输出的血管预测分割结果、所述样本图像的图像特征、所述样本图像的稀疏掩码特征，并基于所述初始血管分割模型的主干网络中的融合卷积模块，对所述样本图像的图像特征进行融合卷积，得到融合卷积特征；
基于所述血管预测分割结果与所述样本图像的标签真值图像之间的差异、所述样本图像的稀疏掩码特征与所述样本图像的标签真值图像之间的差异，以及所述样本图像的融合卷积特征与所述样本图像的标签真值图像之间的差异，对所述初始血管分割模型进行参数迭代，得到所述血管分割模型。
5.一种用于多分段血管实时自动分割装置，其特征在于，包括：
获取单元，用于获取待分割图像；
血管分割单元，用于将所述待分割图像输入至血管分割模型，得到所述血管分割模型输出的血管分割结果；
所述血管分割模型包括主干网络、类别先验网络、结构先验网络和动态控制网络；
所述主干网络用于提取所述待分割图像的图像特征，并对所述图像特征进行解码得到特征图；
所述类别先验网络用于基于类别先验知识，对所述图像特征进行血管分类，得到类别先验特征，所述结构先验网络用于基于结构先验知识，对所述特征图进行血管分类，得到结构先验特征，所述动态控制网络用于对所述类别先验特征、所述结构先验特征和所述图像特征进行特征融合，得到融合特征；
所述主干网络还用于基于所述融合特征和所述特征图进行血管分割；
所述类别先验网络包括图像特征提取网络、类别先验提取网络和融合网络；
所述图像特征提取网络用于对所述图像特征进行语义特征提取，得到深层特征，所述类别先验提取网络用于基于类别先验知识，对初始血管分类特征进行血管分类，得到类别先验提取特征，所述融合网络用于对所述深层特征和所述类别先验提取特征进行融合，得到类别先验特征；
所述结构先验网络包括稀疏掩码分支和卷积分支；
所述稀疏掩码分支用于对所述特征图进行卷积操作和聚合操作，得到稀疏掩码特征，所述卷积分支用于对所述特征图进行卷积操作，得到卷积特征，并基于所述卷积特征和所述稀疏掩码特征确定所述结构先验特征。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述用于多分段血管实时自动分割方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述用于多分段血管实时自动分割方法。
CN202310446004.1A 2023-04-23 2023-04-23 用于多分段血管实时自动分割方法、装置、设备及介质 Active CN116630334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310446004.1A CN116630334B (zh) 2023-04-23 2023-04-23 用于多分段血管实时自动分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310446004.1A CN116630334B (zh) 2023-04-23 2023-04-23 用于多分段血管实时自动分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116630334A CN116630334A (zh) 2023-08-22
CN116630334B true CN116630334B (zh) 2023-12-08

Family

ID=87601673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310446004.1A Active CN116630334B (zh) 2023-04-23 2023-04-23 用于多分段血管实时自动分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116630334B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373070B (zh) * 2023-12-07 2024-03-12 瀚依科技(杭州)有限公司 血管分段标注的方法及装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151536A1 (zh) * 2019-01-25 2020-07-30 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置、网络设备和存储介质
CN112053363A (zh) * 2020-08-19 2020-12-08 苏州超云生命智能产业研究院有限公司 视网膜血管分割方法、装置及模型构建方法
CN112434618A (zh) * 2020-11-26 2021-03-02 西安电子科技大学 基于稀疏前景先验的视频目标检测方法、存储介质及设备
CN114419054A (zh) * 2022-01-19 2022-04-29 新疆大学 视网膜血管图像分割方法、装置及相关设备
CN114445429A (zh) * 2022-01-29 2022-05-06 北京邮电大学 基于多标签与多解码器的全心脏ct分割方法及装置
CN114549552A (zh) * 2022-02-15 2022-05-27 上海翰宇生物科技有限公司 基于空间邻域分析的肺部ct图像分割装置
CN114627139A (zh) * 2022-03-18 2022-06-14 中国科学院自动化研究所 基于像素特征学习的无监督图像分割方法、装置及设备
WO2022141723A1 (zh) * 2020-12-29 2022-07-07 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN114881968A (zh) * 2022-05-07 2022-08-09 中南大学 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN115115648A (zh) * 2022-06-20 2022-09-27 北京理工大学 一种结合UNet和体绘制先验知识的脑组织分割方法
CN115205300A (zh) * 2022-09-19 2022-10-18 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN115937083A (zh) * 2022-10-09 2023-04-07 天津大学 一种融合先验信息的前列腺磁共振图像区域分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151536A1 (zh) * 2019-01-25 2020-07-30 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置、网络设备和存储介质
CN112053363A (zh) * 2020-08-19 2020-12-08 苏州超云生命智能产业研究院有限公司 视网膜血管分割方法、装置及模型构建方法
CN112434618A (zh) * 2020-11-26 2021-03-02 西安电子科技大学 基于稀疏前景先验的视频目标检测方法、存储介质及设备
WO2022141723A1 (zh) * 2020-12-29 2022-07-07 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN114419054A (zh) * 2022-01-19 2022-04-29 新疆大学 视网膜血管图像分割方法、装置及相关设备
CN114445429A (zh) * 2022-01-29 2022-05-06 北京邮电大学 基于多标签与多解码器的全心脏ct分割方法及装置
CN114549552A (zh) * 2022-02-15 2022-05-27 上海翰宇生物科技有限公司 基于空间邻域分析的肺部ct图像分割装置
CN114627139A (zh) * 2022-03-18 2022-06-14 中国科学院自动化研究所 基于像素特征学习的无监督图像分割方法、装置及设备
CN114881968A (zh) * 2022-05-07 2022-08-09 中南大学 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
CN115115648A (zh) * 2022-06-20 2022-09-27 北京理工大学 一种结合UNet和体绘制先验知识的脑组织分割方法
CN115205300A (zh) * 2022-09-19 2022-10-18 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN115937083A (zh) * 2022-10-09 2023-04-07 天津大学 一种融合先验信息的前列腺磁共振图像区域分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SCCNet: Self-correction boundary preservation with a dynamic class prior filter for high-variability ultrasound image segmentation;Yuxin Gong 等;《Computerized Medical Imaging and Graphics》;1-16 *
基于病理图像分析的癌症恶性程度自动评估;闫朝阳;《中国优秀硕士学位论文全文数据库医药卫生科技辑》(第01期);E072-61 *
基于轻量级标注的弱监督图像语义分割算法研究;谢文彬;《中国优秀硕士学位论文全文数据库信息科技辑》(第01期);I138-2440 *
视网膜OCT图像中多类积液的联合分割;叶妍青;《中国优秀硕士学位论文全文数据库医药卫生科技辑》(第01期);E073-175 *

Also Published As

Publication number Publication date
CN116630334A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112489047B (zh) 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
JP2019193808A (ja) リアルタイムの診断上有用な結果
Antczak et al. Stenosis detection with deep convolutional neural networks
CN109658407A (zh) 冠状动脉病变的评分方法、装置、服务器和存储介质
CN112862833A (zh) 血管分段方法、电子装置和存储介质
Tmenova et al. CycleGAN for style transfer in X-ray angiography
US20220198784A1 (en) System and methods for augmenting x-ray images for training of deep neural networks
CN116630334B (zh) 用于多分段血管实时自动分割方法、装置、设备及介质
CN114998292A (zh) 一种基于残差双注意力机制的心血管钙化斑块检测系统
Liang et al. Semi 3D-TENet: Semi 3D network based on temporal information extraction for coronary artery segmentation from angiography video
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
Rjiba et al. CenterlineNet: Automatic coronary artery centerline extraction for computed tomographic angiographic images using convolutional neural network architectures
Yang et al. Efficient catheter segmentation in 3D cardiac ultrasound using slice-based FCN with deep supervision and f-score loss
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
Zhao et al. Automated analysis of femoral artery calcification using machine learning techniques
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
Zhao et al. Automatic aortic dissection centerline extraction via morphology-guided CRN tracker
Ma et al. PCA-derived respiratory motion surrogates from X-ray angiograms for percutaneous coronary interventions
JP7490045B2 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
Fu et al. Robust implementation of foreground extraction and vessel segmentation for X-ray coronary angiography image sequence
Martin et al. Epistemic uncertainty modeling for vessel segmentation
CN117838066B (zh) Evar术后支架相关并发症风险预测方法和系统
Markiewicz et al. Computerized system for quantitative assessment of atherosclerotic plaques in the femoral and iliac arteries visualized by multislice computed tomography
Sun et al. Projection network with Spatio-temporal information: 2D+ time DSA to 2D aorta segmentation
Zair et al. An automated segmentation of coronary artery calcification using deep learning in specific region limitation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Shiqi

Inventor after: Liu Bao

Inventor after: Lai Zhichao

Inventor after: Wang Chaonan

Inventor after: Song Meng

Inventor after: Xie Xiaoliang

Inventor after: Zhou Xiaohu

Inventor after: Hou Zengguang

Inventor after: Ma Xiyao

Inventor after: Zhang Linsen

Inventor before: Liu Shiqi

Inventor before: Wang Chaonan

Inventor before: Song Meng

Inventor before: Xie Xiaoliang

Inventor before: Zhou Xiaohu

Inventor before: Hou Zengguang

Inventor before: Ma Xiyao

Inventor before: Zhang Linsen

Inventor before: Liu Bao

Inventor before: Lai Zhichao

GR01 Patent grant
GR01 Patent grant