CN116935164A - 脑血管识别模型构建方法及网络构建方法 - Google Patents

脑血管识别模型构建方法及网络构建方法 Download PDF

Info

Publication number
CN116935164A
CN116935164A CN202310940161.8A CN202310940161A CN116935164A CN 116935164 A CN116935164 A CN 116935164A CN 202310940161 A CN202310940161 A CN 202310940161A CN 116935164 A CN116935164 A CN 116935164A
Authority
CN
China
Prior art keywords
result
processing
downsampling
module
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310940161.8A
Other languages
English (en)
Inventor
马婷
施鹏程
叶辰飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202310940161.8A priority Critical patent/CN116935164A/zh
Publication of CN116935164A publication Critical patent/CN116935164A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种脑血管识别模型构建方法及网络构建方法，适用于神经科学和临床医疗领域的磁共振图像处理与分析。该方法包括获取脑血管的磁共振图像训练数据，输入至基于深度学习分割框架构建的初始识别模型进行训练，以得到能输出各解剖区域预测结果的目标识别模型。本发明实现了磁共振图像中不同解剖区域脑血管信息的精准提取、整合和识别，能够有效解决各解剖区域对应结构间的包容和排除关系问题，精确分割出图像中脑血管的各类结构区域。在处理分割模型输出的预测结果后，进一步解析脑血管网络的节点和边，并将血管形态特征、解剖区域、网络层次结构和血流方向等信息作为图属性嵌入，以形成脑血管信息图。

Description

脑血管识别模型构建方法及网络构建方法
技术领域
本发明属于图像处理技术领域，具体涉及一种脑血管识别模型构建方法及网络构建方法。
背景技术
大脑的运作效率大量依赖其复杂精细的血管网络。这个网络承载着输送氧气和营养物质的重责，以满足大脑持续的高能量消耗。值得注意的是，脑血管网络的变化，往往紧密关联着多种神经疾病的发展，包括原发性血管疾病、创伤性脑损伤、血管闭塞和脑卒中等。这些疾病都会对脑血管网络的功能产生深远影响。
人脑的复杂程度超越了其他生物体系。大脑区域的空间分层和结构化使得它成为一个由神经元网络构建的超级图形。同时，神经元网络与血管网络的紧密连接，决定了大脑的最大能量负荷和神经元的生长模式。血管网络中的变化，如血管大小和连接数量的变化，都可以在不同脑区间产生显著影响，而这些变化往往是特定疾病早期征兆的重要指标。
在识别、预防和预测脑血管疾病过程中，准确地识别和分割脑血管图像，以及深度分析脑血管网络的特征都是关键步骤。磁共振血管造影(MRA)已被广泛采用以描绘脑血管的解剖结构和病理特征，对这些MRA图像进行精准的分割以及构建个体化的脑血管网络，可以提供丰富的信息，以便更早地识别出可能的血管性痴呆或卒中。
尽管诸如卷积神经网络(CNN)和Transformer变体的深度学习方法在MRI影像处理领域已取得显著的进步，尤其在大脑区域的快速分割和标记方面表现出强大的能力，然而，当面对复杂且无规则的脑血管结构时，这些神经网络算法在分割精度上仍然显现出不足，难以精准地识别出脑血管的多个解剖区域，这无疑在个体化脑血管网络的构建过程中构成了重大挑战。
发明内容
本发明旨在解决的问题是如何高精度地识别磁共振图像中脑血管的各解剖区域为解决上述问题，第一方面，本发明提供了一种脑血管识别模型构建方法，包括：
获取训练数据，所述训练数据包括磁共振图像，所述磁共振图像中包括脑血管的各解剖区域；
将所述训练数据输入至基于nnU-Net框架构建的初始识别模型中进行训练，得到目标识别模型，所述目标识别模型用于输出所述磁共振图像中各所述解剖区域的预测结果，所述预测结果用于表征各所述解剖区域的位置信息及类别，所述nnU-Net框架中嵌入有图神经网络，所述图神经网络用于识别脑血管中各所述解剖区域的结构关系；
根据所述预测结果创建脑血管的网络结构，所述网络结构用于表征磁共振图像中脑血管的结构信息。
第二方面，本发明提供一种脑血管网络识别方法，包括：
获取待处理的磁共振图像，所述磁共振图像中包括脑血管的各解剖区域；
将待处理的所述磁共振图像输入至第一方面所述的脑血管识别模型构建方法中所构建的目标识别模型中，输出所述磁共振图像对应的预测结果，所述预测结果用于表征各所述解剖区域的位置及类别；
根据所述预测结果构建所述脑血管网络结构，所述网络结构用于表征所述脑血管的结构信息。
可以理解，本发明提供的脑血管识别模型构建方法及网络识别方法能够利用nnU-Net框架为主干结构，其中嵌入有图神经网络的新型神经网络结构，对获得的脑部磁共振图像进行训练。这使得目标识别模型能够在识别待处理的磁共振图像中的脑血管各解剖区域时，利用嵌入的图神经网络提取并整合脑血管各解剖区域的特征，识别出磁共振图像中脑血管的各解剖区域的结构关系，从而解决各解剖区域对应结构之间的包容和排除关系。这一流程最终实现了对磁共振图像中脑血管的各类结构区域的高精度识别分割，构建了带有丰富特征的脑血管网络，同时有效地减少了个体间的变异性，为大规模的临床数据分析以及医学研究提供了精确且全面的依据。
附图说明
图1为脑血管的磁共振图像；
图2为脑血管网络结构标本示意图；
图3为相关技术中对脑血管的分割结果示意图；
图4为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图5为本发明一些实施例中脑血管识别模型构建方法的流程框架示意图；
图6为本发明一些实施例中脑血管网络构建示意图；
图7为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图8为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图9为本发明一些实施例中的图神经网络单元的结构示意图；
图10为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图11为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图12为本发明一些实施例的拓扑交互及二叉拓扑交互示意图；
图13为本发明一些实施例的脑血管识别模型构建方法流程示意图；
图14为本发明一些实施例的脑血管网络构建方法流程示意图；
图15为本发明一些实施例的脑血管网络识别模型构建装置的结构示意图；
图16为本发明一些实施例的磁脑血管网络识别装置的结构示意图；
图17为本发明实施例提供的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
通过MRI技术，可以生成体现人体器官组织形态的多模态图像，如脑部形态、肺部形态或骨骼形态等医学图像，具体能够生成包括T1加权成像、T2加权成像、T1ce成像和自由水抑制序列(FLAIR)等的多模态图像数据。
例如，对于如图1所示的脑血管的磁共振影像，精确识别分割各血管是进行标准化和非侵入性分析磁共振血管造影(MRA)脑血管的重要初步操作。
相关技术中，卷积神经网络(CNN)和Transformer变体在医学图像分割领域已成为主要方法。
可以理解，生命体的脑血管，其结构复杂多变，呈现不规则特性，如图2所示的脑血管网络结构标本示意图中，包括有多种不同血管类型对应的解剖区域，即解剖类型。
该解剖区域，即表示磁共振图像中脑血管的各类血管的具体轮廓及结构位置。
例如，如图3左侧所示，脑血管中，主要包括有脑的两组血管供血(ICA和VA-BA)；及幕上的端脑和间脑的三组一级分支血管供血(ACA、MCA、PCA)；及幕下的脑干和小脑的三组一级分支血管供血(SCA、AICA、PICA)及静脉血管等不同血管类型的解剖区域。
而对于复杂且不规则的脑血管结构，卷积神经网络(CNN)和Transformer的结合，无法有效地捕获全局上下文信息，且无法有效处理各种解剖结构之间的包容和排除关系，最终使得分割结果的准确性不高。
例如，如图3所示，左边是脑血管的真实情况，右边是CNN和Transformer混合架构的识别结果，二者在脑血管多类分割任务上进行了比较。其中，圈1表示小血管之间的连接中断，圈2表示标签混淆导致ICA解剖类型错误。
因此，本发明中，为了提高磁共振图像中脑血管各类解剖区域分割的准确性，通过构建基于nnU-Net框架的混合神经网络架构，即将图神经网络模块嵌入到传统的nnU-Net框架中，来构建新型的脑血管网络的识别模型，以在利用所构建的识别模型进行磁共振图像的脑血管中各解剖区域的识别时，所嵌入的图神经网络模块能够整合来自不同解剖区域的信息并提取管状结构，以解决各种解剖区域之间的结构关系，如包容和排除关系，确保输出精确的预测结果，实现了从整体上识别脑血管各解剖区域的特性方式，能够为大规模临床数据分析提供有价值的脑血管结构信息。
为了更好的理解和说明本发明提供的磁共振图像的脑血管识别模型构建方法，下面通过附图详细阐述。
图4所示为本发明实施例提供的脑血管识别模型构建方法的流程示意图，如图4所示，该方法具体包括：
S110，获取训练数据，该训练数据中包括磁共振图像，该磁共振图像中包括脑血管的各解剖区域。
S120，将该训练数据输入基于nnU-Net框架构建的初始识别模型中，对该初始识别模型进行训练，得到目标识别模型，该目标识别模型用于输出该磁共振图像中各解剖区域的预测结果，该预测结果用于表征各解剖区域的位置信息及类别，该nnU-Net框架中嵌入有图神经网络，该图神经网络用于识别脑血管中各解剖区域的结构关系。
具体地，结合图5所示，本发明实施例中，在进行磁共振图像的脑血管网络结构识别模型的构建时，首先可以获取训练数据，以对所构建的初始识别模型进行训练。
该训练数据可以包括多个脑部的磁共振图像，即通过核磁共振技术采集的脑部影像数据，每张磁共振图像中包括有采集对象的脑血管的各解剖区域，即对应的各类血管所在区域，以及对应的轮廓。
本发明实施例中，该初始识别模型，是基于nnU-Net框架的神经网络模型的新型神经网络，如高效拓扑感知的U-Net(NexToU)网络结构。
即该新型神经网络结构中，为了实现对脑血管中各个解剖区域的整合，识别各解剖区域之间的结构关系，以提高各类脑血管识别的精度及效率，在nnU-Net框架的主干神经网络结构中嵌入了图神经网络，即视觉GNN变体，从而能够利用视觉GNN变体整合来自脑血管不同解剖区域的信息并提取管状结构，解决各解剖结构之间的包容和排除等结构关系，以实现脑血管结构的精确分割。
可以理解，该实施例中所构建的该目标识别模型，能够输出磁共振图像中各解剖区域的预测结果，该预测结果可以为脑血管各解剖区域对应的解剖结构的掩膜图像，以表征各解剖区域的位置信息及类别。
即该预测结果可以表示磁共振图像中脑血管的各解剖区域的位置信息及解剖类别，该位置信息具体可以包括各脑血管的轮廓信息及所在位置信息。解剖类别可以包括具体地类别属性，如上述提及的ICA、VA-BA等。
进一步，本发明的一些实施例中，对于复杂的脑血管结构，为了分析及全面了解脑血管的结构信息，以提取脑血管的解剖类型、血流方向及网络层次特征，所构建的识别模型中，还可以包括生成模块，即可以在训练过程中，或训练完成后，创建生成模块，即在生成一段用于根据目标分割模型输出的分割结果，来构建脑血管结构网络的程序，实现脑血管的网络结构可视化展示。
即本发明实施例中所构建的脑血管识别模型，可以包括用于脑血管各类解剖结构识别分割的分割模型，以及用于根据分割结果，即预测结果进行脑血管网络创建的创建模型。即首先通过利用训练数据，构建脑血管各个解剖区域识别分割的分割模型的基础上，进而在识别模型中封装创建模型对应的程序包。
则该方法还包括：
S130，生成创建模块，该创建模块用于根据预测结果，创建该脑血管的网络结构。
具体地，本发明实施例中，在通过上述实施例，完成识别模型中的分割模型的训练后，进一步在分割模型中嵌入一段程序代码，即生成创建模块。如接收程序员输入的代码，或输入的软件包，以作为创建模块嵌入至分割模型，沟通构成磁共振图像的识别模型。
该创建模块用于根据分割模型的输出结果，即预测结果，构建磁共振图像的脑血管网络结构，如图6所示。
可以理解，本发明实施例中，通过获取的脑部磁共振图像，对以nnU-Net框架为主干结构，其中嵌入有图神经网络的新型神经网络结构进行训练，以构建用于脑血管网络结构识别的目标识别模型，从而在利用所构建的目标识别模型，对待处理的脑部磁共振图像中的脑血管网络进行识别构建时，通过其中嵌入的图神经网络模块对磁共振图像中的脑血管的各个不同解剖区域的脑血管信息进行提取并整合，以解决各解剖结构之间的包容和排除关系，最终识别分割出精确的脑血管的分割结果，有效的减少了个体间变异性，为大规模临床数据分析提供了有精确且全面的科学依据。
可以理解，本发明实施例中最终构建的脑血管识别模型，能够对待处理的磁共振图像中的脑血管的各解剖区域实现准确识别的基础上，还能够借助创建模块，利用识别的各个解剖区域，进一步生产脑血管的网络结构，使得该网络结构能够从整体上表征该脑血管的结构信息，即可以从该网络结构中提取到脑血管的结构信息。如提取脑血管的解剖类型、血流方向及网络层次特征等脑血管的结构信息。
详细地，所生成的创建模块，在根据预测结果中的各解剖区域的位置信息及类别属性，进行脑血管网络结构创建时，可以对预测结果进行脑血管结构信息图提取，分别得到信息图的节点与信息图的边。进而将血管形态特征、血管解剖区域、血管网络层次结构和血流方向等信息作为图属性嵌入到边上，如图6所示。
其中，所得到脑血管网络的节点特征可以包括节点序号n、节点坐标半径r、节点度数d、解剖类型na、分叉点解剖类型ba、血流图级别gl和血流路径距离d等。所得到的边特征可以包括边序号e、起始节点序号ni、终止节点序号nj、长度lij、距离dij、曲率ρij、体积vij、平均横截面αij、平均半径rij、圆度平均值oij、起始节点度数vi、终止节点度数vj、体素数量nvij、表面积sij、血管解剖类别aij、分段索引vsij、血流方向[xdij,ydij,zdij]等。
表1脑血管网络的特征及其测量
可以理解，通过该方法构建的新型的识别模型，在实际使用时，自动输出磁共振图像的脑血管的网络结构，可以适用于于卒中、血管性痴呆、动脉瘤和脑小血管病等多种脑血管病变类型的影像分析，有助于更好地理解衰老和其他病理生理条件对脑血管及其血流动力学的影响。
可选地，本发明的一些实施例中，在获取到训练数据后，还可以对训练数据进行预处理，即对于获取到的磁共振图像数据，在利用其对搭建的初始识别模型进行训练之前，还可以对训练数据中的磁共振图像进行裁剪及数据增强等预处理，以舍弃周围的无效区域，突出脑血管所在的各解剖区域。
可选地，本发明实施例中，所搭建的新型始识别模型中的分割模型，以nnU-Net框架为主干，且在对应的编码器及解码器模块中嵌入图神经网络模块。
具体地，如图4所示，以nnU-Net框架为主干结构的该分割模型包括编码器模块及解码器模块，且编码器模块中包括多个卷积层，解码器模块中包括多个反卷积层。该编码器模块中的多个卷积层对输入的训练数据实现下采样，该解码器模块中的多个反卷积层对输入的训练数据实现上采样，以输出最终的预测结果。
对应的，本发明实施例中所设计定义的识别模型，该编码器模块及解码器模块中的卷积层中嵌入有图神经网络(GNN)模块，以对脑血管对应的不同解剖结构的血管区域信息进行整合提取，辅助U-Net神经网络模型的主体结构，实现各类脑血管最终的高效准确分割。
则如图7所示，在S120中，对初始识别模型的训练，即对输入的训练数据的分析处理过程，具体包括：
S121，将该训练数据输入至该编码器模块，对该训练数据中脑血管的各解剖区域特征进行提取，输出下采样结果。
S122，将该下采样结果输入到所述解码器模块，对该下采样结果进行特征整合，输出多个预测结果。
S123，根据该预测结果，确定该预测结果对应的损失函数，该损失函数用于对该初始识别模型进行参数更新，得到该目标识别模型。
具体地，在利用训练数据训练初始分割模型时，即对训练数据进行脑血管中各类解剖区域的识别分割时，首先对训练数据进行卷积处理，以实现下采样阶段，即将训练数据输入至编码器模块的每层卷积层中，利用嵌入的图神经网络辅助各个卷积层，对在脑血管的各个解剖区域的特征进行提取以及整合的基础上，对磁共振图像中的各类脑血管进行特征增强，得到下采样结果。
进一步，在完成磁共振图像的下采样后，可以利用各个反卷积层对下采样结果进行上采样，即首先将下采样结果输入到最低层的反卷积层，依次对其进行迭代处理，以利用反卷积层中嵌入的图神经网络，对磁共振图像中的各类脑血管特征进行整合的基础上，利用nnU-Net中的主干结构对下采样结果进行下采样结果的放大处理，在最上层的反卷积层中输出最终的预测结果。
可以理解，在上采样的过程中，每个反卷积层中进行上采样时，输出对应的预测结果，即磁共振中各类脑血管的分割结果。
则在神经网络的训练过程中，为了实现有监督的机器学习，通过利用损失函数来约束，即对于每次输出的预测结果，可以确定其对应的损失函数。进而可以利用损失函数执行反向传播，以进行识别模型的参数更新。
可以理解，在训练过程中，可以预先设置训练的时期(epoch)，以使得逐渐接近到设定的epoch时，对应迭的损失函数会不断收敛，最终下降到稳定，则停止训练。此时，所对应的神经网络模型，为目标识别模型，即完成模型的训练及构建。
例如，在一些实施例中，可以设定1000个epoch来训练，则当完成1000次的下采样及上采样的传播及反向传播后，所对应的识别模型，即为目标识别模型。
可以理解，本发明实施例的识别模型中的分割模型的构建，通过利用训练数据对初始的识别模型进行有监督的机器学习，最终构建能够准确分割磁共振图像中各类脑血管的识别模型。
进一步，为了更好的理解本发明实施例中，编码器模块及解码器模块中，结合嵌入的图神经网络，对训练数据的处理，以完成自身训练的过程，下面通过以下实施例详细阐述。
可选地，本发明一些实施例中，该编码器模块中可以包括第一下采样模块、位置编码模块及第二下采样模块，该图神经网络嵌入在该第二下采样模块中。
则对应的，结合图5所示，在下采样过程中，对训练数据的处理可以包括两个阶段，即第一下采样模块对应的卷积处理阶段(N1)，以及第二下采样模块对应的特征增强处理阶段(N2)。
即对于本发明实施例中的大尺寸的磁共振图像块，基于每个像素点的k近邻构建图时的计算量会过大。则为了提取浅层特征，首先可以利用卷积模块，进行第一阶段的卷积处理操作，进而利用GNN单元，进行第二阶段的处理。
即如图8所示，S121具体包括如下步骤：
S01，将该训练数据输入至该第一下采样模块，对该训练数据进行卷积处理，得到该训练数据对应的第一下采样结果。
具体地，结合图5所示，该第一下采样模块中，按照数据处理的先后顺序，可以包括第一卷积单元、第二卷积单元、下采样单元以及第三卷积单元。
对应的，在对训练数据的第一阶段处理过程中，首先可以通过两个三维卷积单元，如两个卷积核大小为3x3x3的三维卷积单元，即通过第一卷积单元及第二卷积单元进行处理，得到训练数据的中间特征表示f1，用以保留输入图像的局部特征信息。
进一步，将中间特征表示f1输入至下采样单元，如卷积核大小为3x3x3的下采样单元，对其中的特征进行扩展维度的同时减小图像的大小，以增强特征的语义信息，并经过第三卷积层处理得，最终得到特征表示f2，即第一下采样结果。
详细地，在对f1进行处理时，首先可以将中间特征表示f1通过卷积核大小为3x3x3的下采样单元进行处理，扩展维度的同时减小图像的大小，得到增强特征语义信息的中间特征表示f21；进而将中间特征表示f21输入至卷积核大小为3x3x3的三维卷积单元，即第三卷积单元进行处理，得到特征表示f22，即第一下采样结果；
实际中，可以重复上述第三卷积单元及下采样单元操作的步骤，如重复两次，以得到更好的采样结果。
S02，利用位置编码模块，在该第一下采样结果中添加脑血管各解剖区域的位置参考信息，得到第二下采样结果。
S03，将第二下采样结果输入该第二下采样模块中，对第二下采样结果进行卷积及整合处理，得到下采样结果。
具体地，如图5所示，在第二阶段的下采样过程中，第二下采样模块中可以包括位置编码模块及多个第一特征处理模块。该第一特征处理模块包括下采样单元以及图神经网络单元。
对应的，在该步骤中，对输入的中间特征，即第一下采样结果，首先可以利用位置编码模块，将其与可学习的位置编码相加，得到带有位置信息的特征表示f3，即第二下采样结果，以提升模型对于空间信息的处理能力。
进一步，对于带有位置信息的特征表示，即第二下采样结果，可以将其输入至第二下采样模块中的第一个特征处理模块，以得到新的特征表示，并将新的特征表示输入至后续的第一特征处理模块，以逐步对特征表示第二下采样结果进行处理，最终输出下采样结果。
即第二下采样模块中包括多个迭代关系的第一特征处理模块中的，以对输入的第二下采样结果进行迭代处理。
如图5所示，每个该第一特征处理模块中包括的下采样单元以及图神经网络单元，即第一图神经网络单元。
则在S03中，其中的第一个特征处理模块，对输入的第二下采样结果的处理，具体包括：
S031，将该第二下采样结果输入至该下采样单元，对该第二下采样结果进行特征增强，得到特征增强后的处理结果。
S032，将增强后的该处理结果输入至该第一图像神经网络单元，对该处理结果中的脑血管区域进行整合识别，得到下采样结果。
具体地，对于每个第一特征处理模块中包括的下采样单元以及第一图神经网络单元，其对输入的处理，如对第二下采样结果的处理，首先可以将中间特征表示f3，即第二下采样结果输入至卷积核大小为3x3x3的下采样单元，对特征进行扩展维度的同时减小图像的大小，以增强特征的语义信息，得到增强后的处理结果。然后，通过高效图神经网络单元，对处理结果中的脑血管区域进行整合识别，得到特征表示f4。
例如，一些实施例中，该模型中可以包括三个第一特征处理模块，即在第二阶段N2，对特征表示f3进行处理时，可以重复执行三次，得到最终的下采样结果。
可选地，如图9所示，在一些实施例中，该图神经网络单元，即第一图神经网络单元可以包括池化图神经网络单元和移位窗图神经网络单元。其中，池化图神经网络单元包括池化图单元和前馈网络单元(Feed Forward Network，FFN)；移位窗图神经网络单元包括移位窗图单元和移位窗前馈网络单元(Feed Forward Network，FFN)。
则对应的，如图10所示，上述的输入至第一个特征处理模块，以得到新的特征表示，具体可以包括如下步骤：
S001，基于池化图单元，对增强后的该处理结果进行全局拓扑结构提取，并将提取结果与该处理结果相加，得到池化结果。
S002，基于池化前馈网络单元，对该池化结果进行处理多层处理，并将多层处理结果与池化结果相加，得到第一图神经网络处理结果。
S003，基于移位窗图单元，对第一图神经网络处理结果进行移位处理，并将移位处理结果与该第一图神经网络处理结果相加，得到移位窗处理结果。
S004，基于移位窗前馈神经单元，对该移位窗处理结果进行多层处理，并将多层处理结果与该移位窗处理结果相加，得到第二图神经网络处理结果。
具体地，结合图9所示，在池化图神经网络单元及移位窗图神经网络单元的某层中的数据处理过程：即池化图神经网络单元中，将第二下采样结果，即f31经过池化GNN中的池化图单元处理，然后将处理后的结果且与第二下采样结果相加，再经过池化GNN中的前馈网络单元且与原先特征相加得到特征表示f9，即第一图神经网络处理结果。
进一步，在移位窗图神经网络单元中，特征f9，即第一图神经网络处理结果通过移位窗GNN中的移位窗图单元进行处理，并与特征f9相加，得到移位窗处理结果。然后再经过移位窗GNN中的FFN进行处理，并与特征移位窗处理结果相加，得到第二图神经网络处理结果。
可以理解，上述的图神经网络中的各个单元包括多层的迭代处理，上述实施例中的处理，仅仅是对其中的某一层的具体描述，如在池化图神经网络单元中zl-1，及zl层的处理，对应的，将池化图神经网络单元的输出结果，输入到移位窗图神经网络中，描述了其在zl层及zl+1层的处理过程。
还可以理解，第二下采样结果通过池化图神经网络单元及移位窗图神经网络单元的处理后，最终输出对应的下采样结果，以供解码器处理。
可以理解，通过上述操作，在nnU-Net神经框架下的编码器结构中，利用GNN模块，对磁共振图像中的脑血管拓扑结构进行提取，能够解决不同解剖区域之间的排除和包容，最终实现脑血管拓扑结构图像的完整识别及分割。
可选地，本发明的一些实施例，在对分割模型的构建过程中，即在对训练数据编码器模块处理完成，输出下采样结果后，在S122中，利用解码器对下采样结果进行解码操作时，同样是在U-Net结构的基础上，利用上采样单元，以及视觉GNN单元实现。
如图5所示，该上采样的解码器结构中，包括多个反卷积层，且部分或每个卷积层中嵌入有视觉GNN模块。
即该解码器模块中，可以包括多个第二特征处理模块，且多个第二特征处理模块迭代处理上述实施例中编码器的输出结果，即下采样结果。每个第二特征处理模块中包括上采样单元、融合单元、第一反卷积单元、第二图神经网络单元及第二反卷积单元。
同样的，如图5所示，与编码器结构中的特征处理模块类似，该第二图神经网咯单元中包括池化GNN单元及移位窗GNN单元。
对应的，如图11所示，利用上述的解码器结构，对下采样的疏输出结果进行上采样时，对于每层的反卷积处理，具体包括如下步骤：
S04，将所述下采样结果输入所述上采样单元进行特征空间放大处理，输放大结果。
S05，基于该融合单元将放大结果，以及对应的第一特征处理模块的输出下采样结果进行融合处理，输出融合结果；
S06，将融合结果输入至第一反卷积单元，进行反卷积处理，得到反卷积处理后的处理结果；
S07，将反卷积处理后的处理结果输入至第二图神经网络，进行特征整合处理，得到整合处理后的结果；
S08，将所述整合处理后的结果输入至第反二卷积单元，进行卷积处理，输出所述预测结果。
具体地，对于上述实施例中编码器的输出结果，即下采样结果(特征表示f4)，首先可以经过上采样单元，进行特征空间放大处理，如输入到卷积核大小为2x2x2的上采样模块进行处理，将特征空间放大，得到放大结果，即特征表示f5。
进一步，如图5所示，将放大结果，编码器中对应层级的下采样结果，即从图神经网络单元输出的特征与特征表示f5进行特征融合，融合前后特征张量的通道数增加一倍，图像大小保持不变，得到融合结合，即特征表示f6。
可以理解，如图5所示，编码器的输出，在解码器中的融合，即编码器中某下采样的输出，其被输入到对应层上采样结构中，以供上采用融合处理。
进一步，将特征表示f6输入至第一反卷积单元，如经过卷积核大小为3x3x3的卷积单元，输出反卷积结果。如将特征表示f6通过卷积核大小为3x3x3的卷积模块进行处理，通道数减半，图像大小保持不变，得到特征表示f61，即反卷积处理后的处理结果。
进一步，将中间特征表示f61输入至包含池化GNN和移位窗GNN的高效视觉GNN模块进行处理，得到整合处理后的结果，即特征表示f7。
最后，将特征表示f7输入至第二反卷积单元，如经过卷积核大小为1x1x1的卷积模块进行处理，得到对应的预测结果，即分割结果。
可以理解，每个第二特征处理模块，即分割模型中的每次上采用输出的分割结果，其输出的通道数与最后脑血管的解剖类型数量一致，总共有18种类别。实际中，可以将最上层的输出结果，作为目标的分割结果。
还可以理解，本实施例中的第二图神经网络单元，其具体结构，与上述实施例中的编码器中的第一图神经网络结构类似，即对于输入的数据的处理，同样是经过池化图单元、池化前馈网络单元、移位窗图单元及移位窗单元的处理，在此不再赘述。
可以理解，本发明实施例中的分割模型构建中，作为有监督的机器学习，在解码器中的每层处理的输出结果，即每层的预测结果，可以计算其对应的损失函数，以进行反向传播，更新该层的模型参数。
例如，本发明实施例中，以nnU-Net框架为主干结构的神经网络，其所定义的该损失函数具体可以包括交叉熵损失函数Lce和相似度(Dice)损失函数Ldice两项。
即Ltotal＝Lce+Ldice。
进一步，在本发明的一些实施例中，为了能高效准确地区分不同血管类别，减少邻近血管的类别错分情况，确保得到拓扑正确的分割，分割模型中的损失函数的定义，引入了二叉拓扑交互损失Lbti项，即采用L_pixel作为像素级损失函数以提高模型的性能。
即本发明实施例中的损失函数可以包括三个部分：交叉熵损失Lce、二叉拓扑交互损失及Lbti相似度(Dice)损失Ldice，表达如下：
Ltotal＝Lce+λdiceLdice+λbtiLbti
由上述公式可知，本发明实施例中的损失函数，将交叉熵损失Lce和Dice损失以可调权重λdice和λbti进行组合。其中，对于3D的脑血管多类分割任务，λbti值可以为1e-6。
则该二值拓扑交互损失Lbti可以通过如下公式计算：
Lbti＝Lpixel(f⊙V,g⊙V)
其中，f为解码器模块中，每层上采样输出的预测结果，V为f经过二叉拓扑交互模块处理后的关键像素图，g为配置的分割标准图，即可以为由专家标注得到的分割金标准真值。
即如图13所示，一些实施例中，则对于每次训练过程中，解码器中每层上采样模块输出的预测结果的损失函数的计算，具体地包括：
S005，基于二叉拓扑交互模块，对该预测结果中各解剖区域的结构关系进行编码，得到处理后的关键像素图。
S006，将该关键像素图与配置的分割标准图进行点乘，确定对应的点乘结果为第一损失值；
S007，将与该预测结果与该关键像素图进行点乘，确定对应的点乘结果为第二损失值。
S008，对该第一损失值和该第二损失进行融合，确定融合结果为二叉拓扑交互损失。
S009，将该二叉拓扑交互损失、该交叉熵损失及相似度损失进行融合，对应的融合结果为该预测结果对应的损失函数。
具体地，如图12所示，在模型训练过程中，对于每次输出的预测结果，计算其对应的损失函数时，首先对预测结果经过二叉拓扑交互模块，将不同解剖结构之间的包容和排除关系进行快速编码，得到关键像素图V。进而将上述步骤得到的关键像素图V与由专家标注得到的分割金标准真值g进行点乘运算，得到第一损失值。进一步，将得到预测结果，即概率图f与上述步骤得到的关键像素图V进行点乘运算，作为第二损失值。最后，对得到的两个损失值进行融合运算，得到模型训练过程中的二叉拓扑交互损失函数。
可以理解，本发明实施例中引入的如图12所示的二叉拓扑交互模块，对于总共有类别数量c＝4(α、β、γ、δ)的任务来说，相比于传统的计算，需要4·(4-1)次卷积操作；而引入二叉拓扑交模块，即改进后的方式计算，则仅需要2·(4-1)次卷积操作。
可以理解，在得到上述的二叉拓扑交互损失函数值后，可以带入上述总的损失函数计算公式中，确定对应上采样层的损失函数值，进而对分割模型中的参数进行更新。
可以理解，本发明实施例中，通过二叉拓扑交互模块，在实现高精度分割多类脑血管的基础上，进一步极大的节省了各类型脑血管分类过程中的计算量。
还可以理解，上述方法构建的脑血管的识别模型，在一些实施例中，可以用于实际的磁共振图像中脑血管的各类识别及分割，且进一步利用分割结果构建脑血管的网络结构，以整体全面的分析磁共振图像中的脑血管的各结构信息。
如图13所示，该方法具体包括：
S210，获取待处理的磁共振图像，该磁共振图像中包括脑血管的各解剖区域；
S220，将该磁共振图像输入至预先构建的分割模型中，输出该磁共振图像的脑血管预测结果，该预测结果用于表征各该解剖区域的位置信息及类别，该分割模型基于nnU-Net框架构建，该nnU-Net框架中嵌入有图神经网络，该图神经网络用于融合该各解剖区域。
S230，根据该预测结果，构建该磁共振图像中该脑血管的网络结构，该网络结构用于表征该脑血管的结构信息。
具体地，本发明实施例中，为了实现对磁共振图像中的脑血管各解剖区域的准确识别分割，并从整体上构建全面的脑血管网络结构，利用构建的新型神经网络，即基于nnU-Net框架的神经网络模型的新型神经网络，如高效拓扑感知的U-Net(NexToU)网络结构。
该新型神经网络结构中，为了实现对脑血管中各个解剖区域的整合，以提高脑血管识别的精度及效率，在nnU-Net框架的主干神经网络结构中嵌入了图神经网络，即视觉GNN变体，以利用视觉GNN变体整合来自脑血管不同解剖区域的信息并提取管状结构，解决各解剖结构质检的包容和排除关系，以实现脑血管结构的精确分割。
进一步，利用所构建的分割模型，对脑血管各个解剖区域准确识别，得到对应的预测结果后，还能够利用识别的预测结果，进一步构建脑血管的网络结构，使得该网络结构能够从整体上表征该脑血管的结构信息，即可以从该网络结构中提取到脑血管的结构信息。如，可以从所构建的网络结构中提取脑血管的解剖类型、血流方向及网络层次特征等脑血管的结构信息。
具体地，结合图6所示，利用分割模型输出的预测结果，进行脑血管网络构建时，可以通过如下四个阶段实现：
第一阶段，利用拓扑稀疏化算法将二值分割体积转化为基于骨架的表示，简化为更为简单的结构，便于后续的处理和分析。第二阶段，利用内存有效的算法提取血管中心线，对稀疏化后的血管结构进行分析和处理，提取出血管前景中心线。第三阶段，计算原型图与二值分割的像素之间的映射关系，将提取出来的血管中心线与二值分割后的血管图像中的像素进行一一对应。第四阶段，基于原型图和像素分支分配结果，从前景分割中计算出多种特征，包括血管的直径、长度、弯曲度、分支点和交叉点等。
进一步，对分割模型输出的预测结果进行脑血管结构信息图提取时，分别得到信息图的节点与信息图的边。进而将血管形态特征、血管解剖区域、血管网络层次结构和血流方向等信息作为图属性嵌入到边上，得到脑血管的网络结构。即可以将识别到的不同解剖区域的脑血管与构建的网络结构结合，添加脑血管网络的节点特征及边特征。
其中，节点特征可以包括节点序号、节点坐标、半径、节点度数、解剖类型、分叉点解剖类型、血流图级别和血流路径距离。该边特征可以包括边序号、起始节点序号、终止节点序号、长度、距离、曲率、体积、平均横截面、平均半径、圆度平均值、起始节点度数、终止节点度数、体素数量、表面积、血管解剖类别、分段索引和血流方向。
其中，所得到脑血管网络的节点特征可以包括节点序号n、节点坐标半径r、节点度数d、解剖类型na、分叉点解剖类型ba、血流图级别gl和血流路径距离d等。所得到的边特征可以包括边序号e、起始节点序号ni、终止节点序号nj、长度lij、距离dij、曲率ρij、体积vij、平均横截面αij、平均半径rij、圆度平均值oij、起始节点度数vi、终止节点度数vj、体素数量nvij、表面积sij、血管解剖类别aij、分段索引vsij、血流方向[xdij,ydij,zdij]等。
可以理解，本发明实施例中，对于获取的待处理的脑部磁共振图像种的脑血管的各类解剖区域，通过以nnU-Net框架为主干结构，其中嵌入有图神经网络的新型神经网络结构进行分割识别时，可以利用其中嵌入的图神经网络模块对磁共振图像中的脑血管的各个不同解剖区域的脑血管结构进行提取并整合，以解决各解剖结构之间的包容和排除关系，最终识别分割出精确的脑血管的预测结果，有效的减少了个体间变异性。
进一步，本发明实施例通过利用识别模型中的创建模块，利用分割模型输出的预测结果，构建对应的能够体现脑血管结构信息的网络结构，实现脑血管网络结构的全面描述，为大规模临床数据分析提供了有精确且全面的科学依据。
即本发明中构建的新型神经网络，在实际使用时，自动输出的脑血管的网络结构，适用于于卒中、血管性痴呆、动脉瘤和脑小血管病等多种脑血管病变类型的影像分析，有助于更好地理解衰老和其他病理生理条件对脑血管及其血流动力学的影响。
另一方面，如图15所示，本发明实施例提供一种脑血管识别模型构建装置，该装置包括：
第一获取模块110，用于获取训练数据，该训练数据中包括磁共振图像，该磁共振图像中包括脑血管的各解剖区域；
构建模块120，用于将该训练数据输入至基于nnU-Net框架构建的初始识别模型中，对该初始识别模型进行训练，得到目标识别模型，该目标识别模型用于输出该磁共振图像中各该解剖区域的预测结果，该预测结果用于表征各该解剖区域的位置及类别，该nnU-Net框架中嵌入有图神经网络，该图神经网络用于识别脑血管中各该解剖区域的结构关系。
生成模块130，用于生成创建模块，该创建模块用于根据该预测结果创建该脑血管的网络结构，该网络结构用于表征该磁共振图像中脑血管的结构信息，该结构信息包括解剖类型、血流方向及层次特征。
可选地，本发明实施例提供的脑血管识别模型构建装置，该初始识别模型及该目标识别模型中包括编码器模块及解码器模块，该编码器模块及该解码器模块中嵌入有该图神经网络，则构建模块具体包括：
下采样单元121，用于将该训练数据输入至该编码器模块，对该训练数据中各该解剖区域的特征进行提取，得到下采样结果；
上采用单元122，用于将该下采样结果输入到该解码器模块，对该下采样结果进行特征整合，输出多个预测结果；
更新单元123，用于根据该预测结果，确定该预测结果对应的损失函数，该损失函数用于对该初始识别模型进行参数更新，得到该目标识别模型。
可选地，本发明实施例提供的脑血管识别模型构建装置，该编码器模块包括第一下采样模块、位置编码模块及第二下采样模块，该图神经网络嵌入在该第二下采样模块中，该下采样单元具体用于：
将该训练数据输入至该第一下采样模块，对该训练数据进行卷积处理，得到该训练数据对应的第一下采样结果；
利用该位置编码模块，在该第一下采样结果中添加脑血管各解剖区域的位置参考信息，得到第二下采样结果；
将该第二下采样结果输入该第二下采样模块中，对该第二下采样结果进行卷积及整合处理，得到该下采样结果。
可选地，本发明实施例提供的脑血管识别模型构建装置，该第二下采样模块包括多个第一特征处理模块，多个该第一特征处理模块对该第二下采样结果进行迭代处理，该第一特征处理模块包括下采样单元及第一图神经网络单元，该下采样单元具体用于：
将该第二下采样结果输入至该下采样单元，对该第二下采样结果进行特征增强，得到特征增强后的处理结果；
将增强后的该处理结果输入至该图像神经网络单元，对该处理结果中的脑血管区域进行整合识别。
可选地，本发明实施例提供的脑血管识别模型构建装置，该图神经网络单元包括池化图单元、池化前馈网络单元、移位窗图单元及移位窗前馈网络单元，该下采样单元具体用于：
基于该池化图单元，对该处理结果进行全局拓扑结构提取，并将提取结果与该处理结果相加，得到池化结果；
基于该池化前馈网络单元，对该池化结果进行多层处理，并将多层处理结果与该池化结果相加，得到第一图神经网络处理结果；
基于该移位窗图单元，对第一图神经网络处理结果进行移位处理，并将移位处理结果与该第一图神经网络处理结果相加，得到移位窗处理结果；
基于该移位窗前馈神经单元，对该移位窗处理结果进行多层处理，并将该多层处理结果与该移位窗处理结果相加，得到第二图神经网络处理结果。
可选地，本发明实施例提供的脑血管识别模型构建装置，该解码器模块中包括多个第二特征处理模块，多个该第二特征处理模块迭代处理该下采样结果，每个该第二特征处理模块中包括上采样单元、融合单元、第二图神经网络模块及卷积单元，该上采样单元具体用于：
将该下采样结果输入该上采样单元进行特征空间放大处理，输放大结果；
将该放大结果，以及对应的该第一特征处理模块输出的下采样结果进行融合处理，输出融合结果；
将该融合结果输入至第一反卷积单元，进行反卷积处理，得到反卷积处理后的处理结果；
将该反卷积处理后的处理结果输入至该图神经网络，进行特征整合处理，得到整合处理后的结果；
将该整合处理后的结果输入至第反二卷积单元，进行反卷积处理，输出该预测结果。
可选地，本发明实施例提供的脑血管识别模型构建装置，该损失函数包括二叉拓扑交互损失、交叉熵损失及相似度损失，则该更新单元具体用于：
基于二叉拓扑交互模块，对该预测结果中各解剖区域的结构关系进行编码，得到处理后的关键像素图；
将该关键像素图与配置的分割标准图进行点乘，确定对应的点乘结果为第一损失值；
将该预测结果与该关键像素图进行点乘，确定对应的点乘结果为第二损失值；
对该第一损失值和该第二损失进行融合，确定融合结果为二叉拓扑交互损失；
将该二叉拓扑交互损失、该交叉熵损失及相似度损失进行融合，对应的融合结果为该预测结果对应的损失函数。
另一方面，如图16所示，本发明实施例提供脑血管网络构建装置，该装置包括：
获取模块210，用于获取待处理的磁共振图像，该磁共振图像中包括脑血管的各解剖区域；
识别模块220，用于将该磁共振图像输入至如权利要求1-8任一项该的脑血管识别模型构建方法中所构建的目标识别模型，输出该磁共振图像对应的预测结果，该预测结果用于表征各该解剖区域的位置及类别。
创建模块230，用于根据该预测结果构建该脑血管网络结构，该网络结构用于表征该脑血管的结构信息，该结构信息包括解剖类型、血流方向及层次特征。
另一方面，本发明实施例提供的计算机设备，该终端设备还包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上所述的图像方法。
下面参考图17，图17为本发明实施例的计算机设备的结构示意图。
如图17所示，电子设备包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。在一些实施例中，以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本发明的电子设备中限定的上述功能。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：获取模块及构建模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，构建模块还可以被描述为“用于将所述训练数据输入至基于nnU-Net框架构建的初始识别模型中，对所述初始识别模型进行训练，得到目标识别模型，所述目标识别模型用于输出所述磁共振图像中各所述解剖区域的预测结果，所述预测结果用于表征各所述解剖区域的位置及类别，所述nnU-Net框架中嵌入有图神经网络，所述图神经网络用于识别脑血管中各所述解剖区域的结构关系”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个计算机程序，当上述计算机程序被一个或者一个以上的处理器用来执行描述本发明上述实施例提供的磁共振图像的脑血管识别模型构建方法；或用来执行描述于本发明上述实施例提供的磁共振图像的脑血管识别方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种脑血管识别模型构建方法，其特征在于，包括：
获取训练数据，所述训练数据包括磁共振图像，所述磁共振图像中包括脑血管的各解剖区域；
将所述训练数据输入至基于nnU-Net框架构建的初始识别模型中进行训练，得到目标识别模型，所述目标识别模型用于输出所述磁共振图像中各所述解剖区域的预测结果，所述预测结果用于表征各所述解剖区域的位置信息及类别，所述nnU-Net框架中嵌入有图神经网络，所述图神经网络用于识别脑血管中各所述解剖区域的结构关系；
根据所述预测结果创建脑血管的网络结构，所述网络结构用于表征磁共振图像中脑血管的结构信息。
2.根据权利要求1所述脑血管识别模型构建方法，其特征在于，所述初始识别模型以及所述目标识别模型包括编码器模块和解码器模块，所述编码器模块和所述解码器模块中嵌入有图神经网络，
则将所述训练数据输入基于nnU-Net框架构建的初始识别模型中进行训练，得到目标识别模型的步骤包括：
将所述训练数据输入至所述编码器模块，对所述训练数据中的各解剖区域的特征进行提取，输出下采样结果；
将所述下采样结果输入至所述解码器模块，对所述下采样结果进行特征整合，输出多个预测结果；
根据所述预测结果，确定所述预测结果对应的损失函数，所述损失函数对所述初始识别模型进行参数更新，得到所述目标识别模型。
3.根据权利要求2所述的脑血管识别模型构建方法，其特征在于，所述编码器模块包括第一下采样模块、位置编码模块和第二下采样模块，所述图神经网络被嵌入至所述第二下采样模块中，所述将所述训练数据输入至所述编码器模块，对所述训练数据中各所述解剖区域的特征进行提取，输出下采样结果包括：
将所述训练数据输入至所述第一下采样模块，对所述训练数据进行卷积处理，得到所述训练数据对应的第一下采样结果；
利用所述位置编码模块，在所述第一下采样结果中添加各所述解剖区域的位置参考信息，得到第二下采样结果；
将所述第二下采样结果输入所述第二下采样模块中，对所述第二下采样结果进行卷积及整合处理，得到所述下采样结果。
4.根据权利要求3所述的脑血管识别模型构建方法，其特征在于，所述第二下采样模块包括多个第一特征处理模块，多个所述第一特征处理模块对所述第二下采样结果进行迭代处理，所述第一特征处理模块包括下采样单元及第一图神经网络单元，
则所述第二下采样模块中的第一个所述第一特征处理模块，对所述第二下采样结果进行卷积及整合处理包括：
将所述第二下采样结果输入至所述下采样单元，对所述第二下采样结果进行特征增强，得到特征增强后的处理结果；
将增强后的所述处理结果输入至第一图像神经网络单元，对所述处理结果中的脑血管各所述解剖区域进行整合识别。
5.根据权利要求4所述的脑血管识别模型构建方法，其特征在于，所述第一图神经网络单元包括池化图单元、池化前馈网络单元、移位窗图单元及移位窗前馈网络单元，所述将增强后的所述处理结果输入至所述第一图像神经网络单元，对所述处理结果中的脑血管各所述解剖区域进行整合识别包括：
基于所述池化图单元，对增强后的所述处理结果进行全局拓扑结构提取，并将提取结果与所述处理结果相加，得到池化结果；
基于所述池化前馈网络单元，对所述池化结果进行多层处理，并将多层处理结果与所述池化结果相加，得到第一图神经网络处理结果；
基于所述移位窗图单元，对所述第一图神经网络处理结果进行移位处理，并将移位处理结果与所述第一图神经网络处理结果相加，得到移位窗处理结果；
基于所述移位窗前馈神经单元，对所述移位窗处理结果进行多层处理，并将所述多层处理结果与所述移位窗处理结果相加，得到第二图神经网络处理结果。
6.根据权利要求5所述的脑血管识别模型构建方法，其特征在于，所述解码器模块中包括多个第二特征处理模块，多个所述第二特征处理模块迭代处理所述下采样结果，每个所述第二特征处理模块中包括上采样单元、融合单元、第一反卷积单元、第二图神经网络单元及第二反卷积单元，
所述第二特征处理模块对所述下采样结果进行特征整合，输出对应的预测结果包括：
将所述下采样结果输入所述上采样单元进行特征空间放大处理，输出放大结果；
基于所述融合单元，将所述放大结果，以及对应的所述第一特征处理模块输出的下采样结果进行融合处理，输出融合结果；
将所述融合结果输入第一反卷积单元，进行反卷积处理，得到反卷积处理后的处理结果；
将所述反卷积处理后的处理结果输入至所述第二图神经网络，进行特征整合处理，得到整合处理后的结果；
将所述整合处理后的结果输入第二反卷积单元进行反卷积处理，输出所述第二特征处理模块对应的预测结果。
7.根据权利要求2-6任一项所述的脑血管识别模型构建方法，其特征在于，所述损失函数包括二叉拓扑交互损失、交叉熵损失及相似度损失，则所述根据所述预测结果，确定所述预测结果对应的损失函数包括：
基于二叉拓扑交互模块，对所述预测结果中各解剖区域的结构关系进行编码，得到关键像素图；
将所述关键像素图与配置的分割标准图进行点乘，确定对应的点乘结果为第一损失值；
将所述预测结果与所述关键像素图进行点乘，确定对应的点乘结果为第二损失值；
对所述第一损失值和所述第二损失进行融合，确定融合结果为二叉拓扑交互损失；
将所述二叉拓扑交互损失、所述交叉熵损失及相似度损失进行融合，确定融合结果为所述预测结果对应的损失函数。
8.一种脑血管网络构建方法，其特征在于，包括：
获取待处理的磁共振图像，所述磁共振图像中包括脑血管的各解剖区域；
将待处理的所述磁共振图像输入至如权利要求1-7任一项所述的脑血管识别模型构建方法中所构建的目标识别模型中，输出所述磁共振图像对应的预测结果，所述预测结果用于表征各所述解剖区域的位置及类别；
根据所述预测结果构建所述脑血管网络结构，所述网络结构用于表征所述脑血管的结构信息。
9.根据权利要求8所述的脑血管网络构建方法，其特征在于，所述根据所述预测结果构建所述脑血管网络结构，所述网络结构用于表征所述脑血管的结构信息包括：
第一阶段，利用拓扑稀疏化算法将二值分割体积转化为基于骨架的表示；
第二阶段，利用内存有效的算法提取各脑血管中心线，对稀疏化后的脑血管结构进行分析和处理，提取出血管前景中心线；
第三阶段，计算原型图与二值分割的像素之间的映射关系，将提取出来的所述血管中心线与二值分割后的血管图像中的像素进行一一对应；
第四阶段，基于原型图和像素分支对应结果，计算脑血管参数特征，所述脑血管参数特征包括血管的直径、长度、弯曲度、分支点和交叉点。
10.根据权利要求9所述的脑血管网络构建方法，其特征在于，还包括：
将识别到的不同解剖区域的脑血管与构建的网络结构结合，添加脑血管网络的节点特征及边特征，所述节点特征包括节点序号、节点坐标、半径、节点度数、解剖类型、分叉点解剖类型、血流图级别和血流路径距离；
所述边特征包括边序号、起始节点序号、终止节点序号、长度、距离、曲率、体积、平均横截面、平均半径、圆度平均值、起始节点度数、终止节点度数、体素数量、表面积、血管解剖类别、分段索引和血流方向。
CN202310940161.8A 2023-07-27 2023-07-27 脑血管识别模型构建方法及网络构建方法 Pending CN116935164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310940161.8A CN116935164A (zh) 2023-07-27 2023-07-27 脑血管识别模型构建方法及网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310940161.8A CN116935164A (zh) 2023-07-27 2023-07-27 脑血管识别模型构建方法及网络构建方法

Publications (1)

Publication Number Publication Date
CN116935164A true CN116935164A (zh) 2023-10-24

Family

ID=88377068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310940161.8A Pending CN116935164A (zh) 2023-07-27 2023-07-27 脑血管识别模型构建方法及网络构建方法

Country Status (1)

Country Link
CN (1) CN116935164A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649371A (zh) * 2024-01-30 2024-03-05 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置
CN118397127A (zh) * 2024-06-21 2024-07-26 瀚依科技(杭州)有限公司 一种血管图像重建方法、装置及存储介质
CN118736137B (zh) * 2024-08-30 2024-10-29 天津市环湖医院(天津市神经外科研究所、天津市脑系科中心医院) 基于脑血管影像分割的脑血管三维模型构建方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649371A (zh) * 2024-01-30 2024-03-05 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置
CN117649371B (zh) * 2024-01-30 2024-04-09 西安交通大学医学院第一附属医院 一种脑血管介入手术模拟器图像处理方法及装置
CN118397127A (zh) * 2024-06-21 2024-07-26 瀚依科技(杭州)有限公司 一种血管图像重建方法、装置及存储介质
CN118736137B (zh) * 2024-08-30 2024-10-29 天津市环湖医院(天津市神经外科研究所、天津市脑系科中心医院) 基于脑血管影像分割的脑血管三维模型构建方法及系统

Similar Documents

Publication Publication Date Title
Swati et al. Brain tumor classification for MR images using transfer learning and fine-tuning
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN116935164A (zh) 脑血管识别模型构建方法及网络构建方法
WO2021244661A1 (zh) 确定图像中血管信息的方法和系统
CN113947609B (zh) 深度学习网络结构及多标签主动脉夹层ct图像分割方法
Kuang et al. Segmenting hemorrhagic and ischemic infarct simultaneously from follow-up non-contrast CT images in patients with acute ischemic stroke
Chen et al. 3D intracranial artery segmentation using a convolutional autoencoder
CN107563983A (zh) 图像处理方法以及医学成像设备
CN105825509A (zh) 基于3d卷积神经网络的脑血管分割方法
JP7250166B2 (ja) 画像分割方法及び装置、画像分割モデルのトレーニング方法及び装置
Fan et al. Unsupervised cerebrovascular segmentation of TOF-MRA images based on deep neural network and hidden Markov random field model
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
Angkoso et al. Multiplane Convolutional Neural Network (Mp-CNN) for Alzheimer’s Disease Classification.
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Karimzadeh et al. A novel shape-based loss function for machine learning-based seminal organ segmentation in medical imaging
CN109009000A (zh) 一种主动脉夹层破口位置的检测方法
Lyu et al. Dissected aorta segmentation using convolutional neural networks
Savaashe et al. A review on cardiac image segmentation
Ghosal et al. MhURI: a supervised segmentation approach to leverage salient brain tissues in magnetic resonance images
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
Tang et al. Lumen contour segmentation in IVOCT based on N-type CNN
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination