CN113313728B - 一种颅内动脉分割方法及系统 - Google Patents

一种颅内动脉分割方法及系统 Download PDF

Info

Publication number
CN113313728B
CN113313728B CN202110665097.8A CN202110665097A CN113313728B CN 113313728 B CN113313728 B CN 113313728B CN 202110665097 A CN202110665097 A CN 202110665097A CN 113313728 B CN113313728 B CN 113313728B
Authority
CN
China
Prior art keywords
dimensional
image
intracranial artery
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110665097.8A
Other languages
English (en)
Other versions
CN113313728A (zh
Inventor
李子孝
王拥军
刘涛
张栗源
程健
刘子阳
朱万琳
荆京
张喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202110665097.8A priority Critical patent/CN113313728B/zh
Publication of CN113313728A publication Critical patent/CN113313728A/zh
Application granted granted Critical
Publication of CN113313728B publication Critical patent/CN113313728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种颅内动脉分割方法及系统。所述方法包括：获取待分割的三维时间飞跃磁共振血管图像；将待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；第一卷积块模块包括多个依次连接的空洞卷积块，第二卷积块模块包括多个依次连接的三维卷积块单元，三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块。本发明可以提高颅内动脉分割的准确性。

Description

一种颅内动脉分割方法及系统
技术领域
本发明涉及图像分割技术领域，特别是涉及一种颅内动脉分割方法及系统。
背景技术
颅内动脉狭窄是导致缺血性脑卒中发生的重要诱因，如果不及时发现并进行治疗可能会导致严重的神经系统后遗症并且致命。当前的颅内动脉筛查主要是医生通过磁共振成像(Magnetic Resonance Imaging，MRI)显示器观察血管各个角度的最大信号投影图(Maximum intensity projection，MIP)，以进一步对患者的颅内动脉狭窄情况进行筛查。在临床上，三维时间飞跃磁共振血管图像(Three Dimensional Time of Flight MagneticResonance Angiography，3D TOF MRA)存在不需要注射造影剂的优势，所以被广泛用作颅内动脉的筛查。
但是，现有的深度学习分割模型对3D TOF MRA采用逐层对血管区域进行预测，没有利用到上下文信息，一定程度上限制了颅内动脉分割的效果，导致分割得到的结果并不精确。
发明内容
本发明的目的是提供一种颅内动脉分割方法及系统，以提高颅内动脉分割的准确性。
为实现上述目的，本发明提供了如下方案：
一种颅内动脉分割方法，包括：
获取待分割的三维时间飞跃磁共振血管图像；
将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块。
可选的，在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像，之前还包括：
对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像；
对所述重采样图像进行固定阈值门限分割得到二值图像；
对所述二值图像进行凸包检测得到前景掩膜图像；
对所述前景掩膜图像进行处理得到感兴趣区域。
可选的，所述第一卷积块模块，具体包括：
四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层。
可选的，所述颅内动脉分割模型的确定方法为：
构建三维卷积神经网络模型；
获取待训练的三维时间飞跃磁共振血管图像；
以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
可选的，在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像之后还包括：
将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
一种颅内动脉分割系统，包括：
第一获取模块，用于获取待分割的三维时间飞跃磁共振血管图像；
颅内动脉图像确定模块，用于将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块。
可选的，所述颅内动脉分割系统，还包括：
重采样模块，用于对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像；
二值图像确定模块，用于对所述重采样图像进行固定阈值门限分割得到二值图像；
前景掩膜图像确定模块，用于对所述二值图像进行凸包检测得到前景掩膜图像；
感兴趣区域确定模块，用于对所述前景掩膜图像进行处理得到感兴趣区域。
可选的，所述颅内动脉图像确定模块中的第一卷积块模块，具体包括：
四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层。
可选的，所述颅内动脉分割系统，还包括：
构建模块，用于构建三维卷积神经网络模型；
第二获取模块，用于获取待训练的三维时间飞跃磁共振血管图像；
训练模块，用于以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
可选的，所述颅内动脉分割系统，还包括：三维可视化模块，用于将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明的颅内动脉分割模型由包括多个空洞卷积块的第一卷积块模块和包括多个三维卷积块单元的第二卷积块模块组成的，并且三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块(VoxelRend模块)，采用空洞卷积达到扩大感受野的目的，三维卷积可以捕获多尺度的上下文信息，结合上下文信息实现颅内动脉分割，提高了分割的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的颅内动脉分割方法的流程图；
图2为本发明实施例提供的颅内动脉分割模型工作的示意图；
图3为本发明实施例提供的VoxelRend模型的工作流程示意图；
图4为本发明实施例提供的Voxel head的结构示意图；
图5为本发明实施例提供的颅内动脉分割模型的训练方法、使用以及根据分割结果得到的三维可视化展示的流程图；
图6为本发明实施例提供的颅内动脉分割系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
医生通过磁共振成像显示器或DICOM图像浏览器观察血管各个角度MIP图，以确定血管是否真的存在颅内动脉狭窄以及血管的狭窄程度。然而最大密度投影会将一些非颅内动脉组织和结果在显示器进行呈现，这些对于医生判读来说其实属于无关信息。此外，由于3D TOF MRA的成像原理是利用MR特殊的“流动效应”。通过射频脉冲的作用，使作用层面中的静止组织处于饱和状态，纵向磁化消失，而流入血液出现时，其质子处于非饱和状态，纵向磁化程度高。因此，已饱和的静止组织与未饱和的流入血液之间形成明显的差别。故区别于注射造影剂的成像方式，3D TOF MRA在一些地方会出现对比度低的问题。这也成为了基于3D TOF MRA进行颅内动脉分割的难点。由于传统的3D UNet在上采样的过程中针对的是整个特征图，然而实际情况是数据中的体素之间的分类预测难度是有差异的。
因此，针对上述问题，本实施例提供的颅内动脉分割方法通过深度学习的方法从3D TOF MRA中提取出属于颅内动脉的区域，即感兴趣区域(Region of Interest，ROI)。对ROI区域进行三维可视化解决上述问题。相比于其他传统的颅内动脉分割方法如阈值分割、区域生长、主动轮廓，本实施例能够提取颅内动脉图像的三维特征，可以达到更好的分割效果。且由于神经网络包含大量参数，故得到的训练模型具有良好的泛化能力，可以达到较高的Dice指标。本实施例所提出的三维卷积神经网络模型主要实现的是对对比度低的区域的预测。通过提升困难预测体素的准确率，从而进一步实现更准确的颅内动脉分割的目的。
如图1所示，所述颅内动脉分割方法包括：
步骤101：获取待分割的三维时间飞跃磁共振血管图像。
步骤102：将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块。
在实际应用中，由于获取的三维时间飞跃磁共振血管成像图像由不同的磁共振设备以不同的设置参数进行采集，图像数据的空间分辨率通常情况下不一致，在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像，之前还包括：
对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像，以保证图像的空间分辨率在同一尺度上，方便后续的图像处理与分析。
然后对重采样后的数据进行阈值处理和凸包检测逐层计算前景掩膜(HeadMask)，目的是针对前景区域内进行归一化处理，防止背景体素信息对数据分布产生干扰。具体做法如下：对所述重采样图像进行固定阈值门限分割得到二值图像；利用所述的二值图像进一步计算最大连通域，目的是将目标区域以外的小区域剔除。对所述二值图像进行凸包检测得到前景掩膜图像。
由于颅内动脉的位置仅存在脑内的一部分区域，除该位置以外的无关信息并不在研究的范围之类所以对所述前景掩膜图像进行处理得到感兴趣区域，可以降低计算量，节省计算资源。
在实际应用中，所述第一卷积块模块，具体包括：
四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层。
在实际应用中，所述颅内动脉分割模型的确定方法为：
构建三维卷积神经网络模型。
获取待训练的三维时间飞跃磁共振血管图像。
以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
颅内动脉分割模型训练和验证过程中所需的真实标签由具备经验的专业人员对数据集中的3D TOF MRA进行颅内动脉区域标注提供。
所述三维卷积神经网络模型的训练过程具体为：先对预处理图像进行裁剪，将得到的多个三维数据块，以批为单位输入到三维卷积神经网络模型进行训练。通过迭代地反向传播优化网络参数的方式训练深度学习网络，当训练过程收敛时得到训练好的三维卷积神经网络模型。训练过程采用Focal Loss，Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重。本实施例采用的三维输入数据中前景的体素数量远小于背景的体素数量，即存在正负样本比例失衡问题。
Focal Loss的定义为：
FL(pt)＝-(1-pt)γlog(pt)
其中，FL表示Focal Loss，Pt表示样本属于真实类别的概率，γ为难易样本调节参数，(1-Pt)γ称为调制系数。
在实际应用中，在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像之后还包括：
将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
颅内动脉分割模型的实现原理：3D TOF MRA提供了三维空间信息，传统的2D深度学习分割模型采用逐层对血管区域进行预测，没有利用到上下文信息，一定程度上限制了颅内动脉分割的效果，而且3D TOF MRA的成像质量的问题，会出现前后景的对比度不够理想的情况，3D分割模型在这些预测困难的体素的分割效果往往不佳，称之为“困难预测体素”。
本实施例使用颅内动脉分割模型对预处理后的图像基于体素进行预测。首先，通过一个传统的3D CNN模型，通过不断的空洞卷积和最大池化，获得尺寸更小但更深的特征图。其次，引入VoxelRend模型，在三维空间中自适应地选择1024个“模糊分割点”，即预测置信度在0.5左右的体素。颅内动脉分割模型由3D CNN模型和VoxelRend模型构成，其示意图如图2所示。
3D CNN模型包括四个下采样单元(空洞卷积块)和四个上采样单元(三维卷积块单元)，四个下采样单元构成第一卷积块模块，四个上采样单元构成第二卷积块模块，所述下采样单元的每一层均由两个三维空洞卷积层和一个最大池化层构成。每个上采样单元都包括一个三维卷积块和一个三维体素渲染神经网络模块，每个三维卷积块的每一层均由两个三维卷积层和一个三线性插值层构成。
第一个下采样单元中的两个三维空洞卷积层的两个卷积均设置16个卷积核，每个卷积核的尺寸为3×3×3，设置Dilationrate(扩张率)值为2，Padding(填充)值为2，Stride(步幅)值为1，设置激活函数为LeakyReLu。输入1个256×256×128的待分割图经过最大池化层得到16个大小为128×128×64的特征图。
第二个下采样单元中的两个三维空洞卷积层的两个卷积均设置32个卷积核，每个卷积核大小为3×3×3，设置Dilation rate值为2，Padding值为2，Stride值为1，设置激活函数为LeakyReLu，经过最大池化层得到32个大小为64×64×32的特征图。
第三个下采样单元中的两个三维空洞卷积层的两个三维空洞卷积均设置64个卷积核，每个卷积核大小为3×3×3，设置Dilationrate值为2，Padding值为2，Stride值为1，设置激活函数为LeakyReLu，经过最大池化层得到64个大小为32×32×16的特征图。
第四个下采样单元中的两个三维空洞卷积层的两个三维空洞卷积均设置128个卷积核，每个卷积核大小为3×3×3，设置Dilation rate值为2，设置Padding值为2，Stride值为1，设置激活函数为LeakyReLu，经过最大池化层得到128个大小为16×16×8的特征图。
第一个三维卷积块中的两个三维卷积层的两个三维卷积均设置64个卷积核，每个卷积核大小为3×3×3，设置Padding值为1，Stride值为1，设置激活函数为Sigmoid，经过三线性插值层、第一三维体素渲染神经网络模块得到64个大小为32×32×16的特征图。
第二个三维卷积块中的两个三维卷积层的两个三维卷积均设置32个卷积核，每个卷积核大小为3×3×3，设置Padding值为1，Stride值为1，设置激活函数为Sigmoid，经过三线性插值层、第二三维体素渲染神经网络模块得到32个大小为64×64×32的特征图。
第三个三维卷积块中的两个三维卷积层的两个三维卷积均设置16个卷积核，每个卷积核大小为3×3×3，设置Padding值为1，Stride值为1，设置激活函数为Sigmoid，经过三线性插值层、第三三维体素渲染神经网络模块得到16个大小为128×128×64的特征图。
第四个三维卷积块中的两个三维卷积层的两个三维卷积均设置1个卷积核，每个卷积核大小为3×3×3，设置Padding值为1，Stride值为1，设置激活函数为Sigmoid，经过三线性插值层、第四三维体素渲染神经网络模块得到1个大小为256×256×128的分割图。
值得说明的是，在3D CNN阶段，本实施例采用空洞卷积达到扩大感受野的目的，三维卷积可以捕获多尺度上下文信息。
其中对VoxelRend模型的原理进行阐述：
本实施例所采用的VoxelRend模型灵感来自于PointRend技术，该技术将图像分割问题类比渲染问题，针对物体边缘的图像分割进行优化，使其在难以分割的物体边缘部分有更好的表现。将该项技术扩展到三维空间，首先通过一系列三维空洞卷积层和池化层对待分割图像通过最大池化层实现降采样过程，再利用VoxelRend模型上采样还原到图像原始的分辨率并得到最终的图像分割结果。VoxelRend的优势在于不对输出网格上的所有体素执行过度预测，只对选择策略筛选后的体素执行预测。
如图3所示，VoxelRend模型的原理主要是合并低层和高层特征，然后通过多层感知机对采样的点进行预测。该模块里包含了“多层感知机模型”。
多层感知机可以利用一维卷积，卷积核大小为1的卷积层实现。输入为低层特征和高层特征合并后的特征，输出二分类预测结果(即前景和背景两类)。因此，经过mlp的预测，这些模糊预测的体素就被归属到了不同的类。
VoxelRend模型主要由体素选择策略、体素的特征提取以及体素的分类预测三个部分构成，第一步采样困难预测的体素，获取体素坐标；第二步，提取高级特征；第三步，提取低级特征；第四步，合并高级特征和低级特征；第五步，利用多层感知机进行预测，用预测结果对插值结果进行更新。体素选择策略在每次迭代中，VoxelRend使用三线性插值对低分辨率高层特征进行上采样得到高分辨率低层特征，然后在高分辨率低层特征上选择1024个最不确定的体素(困难预测的体素)，即预测置信度在0.5左右的体素。然后，VoxelRend为这1024个体素中的每一个体素计算体素特征表示，并预测它们的标签。这个过程是迭代进行的，直到分割达到上采样到所需的分辨率。
在训练期间，VoxelRend需要构造体素的特征表示用于训练多层感知机(Multilayer Perceptron,MLP)Voxel head。Voxel head的结构示意图如图4所示，包括依次连接的输入层、三个128通道的隐藏层和进行2分类预测的输出层，中间激活函数是ReLU，输出层与隐藏层之间用Sigmoid函数。VoxelRend通过组合低层特征和高层特征，在选定的体素上构造体素特征，作为Voxel head的输入。其中，低层特征由高层特征三线性插值直接计算获得。利用Voxel head对每个被选中的体素进行分类预测。利用上述Voxel head的分类结果对三线性插值的结果进行更新。
如图5所示，本实施例提供了颅内动脉分割模型的训练方法、使用以及根据分割结果得到的三维可视化展示的步骤，所述步骤包括：
S1：构建原始输入图像。原始输入图像为3D TOF MRA。
S2：预处理原始图像并构建数据集。对原始输入图像进行预处理操作并利用预处理后的3D Patch构建训练集。
S3：构建颅内动脉分割模型。
S4：利用数据集训练模型，直到模型收敛，保存该模型。利用训练集对模型进行训练，直到模型收敛，对模型保存。保存预测精度高、泛化性能强的模型。
S5：利用交叉验证的方法对上述模型(颅内动脉分割模型)进行验证，使用Dice指标验证模型。
S6：得到训练完成的颅内动脉分割模型，可从3D TOF MRA数据提取出颅内动脉区域。使用训练得到的颅内动脉分割模型对待分割的3D TOF MRA进行预测，将预测得到的3DPatch的结果进行拼接，组成完整的颅内动脉分割的二值结果。
S7：获得颅内动脉目标区域的二值结果，利用Marching Cubes的方法实现颅内动脉的三维可视化。利用颅内动脉分割的二值结果，使用VTK工具包利用Marching Cubes方法进行面绘制，以实现颅内动脉的三维可视化展示。
如图6所示，本实施例还提供了一种与上述方法对应的颅内动脉分割系统，所述系统包括：
第一获取模块A1，用于获取待分割的三维时间飞跃磁共振血管图像。
颅内动脉图像确定模块A2，用于将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块。
在实际应用中，所述颅内动脉分割系统，还包括：
重采样模块，用于对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像。
二值图像确定模块，用于对所述重采样图像进行固定阈值门限分割得到二值图像。
前景掩膜图像确定模块，用于对所述二值图像进行凸包检测得到前景掩膜图像。
感兴趣区域确定模块，用于对所述前景掩膜图像进行处理得到感兴趣区域。
在实际应用中，所述颅内动脉图像确定模块中的第一卷积块模块，具体包括：
四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层。
在实际应用中，所述颅内动脉分割系统，还包括：
构建模块，用于构建三维卷积神经网络模型。
第二获取模块，用于获取待训练的三维时间飞跃磁共振血管图像。
训练模块，用于以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
在实际应用中，所述颅内动脉分割系统，还包括：三维可视化模块，用于将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
本实施例涉及的三维可视化模块利用开源的免费软件系统VTK(VisualizationToolkit)进行实现，将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入该模块，即可得到三维可视化结果。医生可以通过鼠标对三维可视化结果进行交互实现任意角度的观察，同时提供缩放功能。
本发明有以下效果：
1、本实施例将VoxelRend模块应用到三维图像分割任务中，区别于传统的3D UNet所采用的上采样方法，通过筛选“困难预测”的体素和不断通过迭代细分上采样的方法，使模型在“困难预测”的体素预测更精准，解决了3D TOF MRA中由于血流增强效应在低流速区域信号低导致模型分割效果不理想的问题。
2、本系统使用VTK工具包基于所述的颅内动脉分割模型的分割结果提供三维可视化交互界面，可以为医生从多个角度观察提供便利。
3、目前临床上多采用的MIP重建结果往往包含了除颅内动脉以外的信息，并非是诊断中需要关注的信息，本发明采用三维卷积神经网络模型针对接收的三维时间飞跃磁共振血管成像图像中的颅内动脉区域进行提取，可以有效地过滤非目标区域，减少干扰信息。
4、现有技术中颅内动脉分割的相关方法多数都是在3D UNet的基础上进行改进，但是本发明区别于传统的3D UNet网络，引入了VoxelRend模型实现上采样的过程。借鉴了PointRend的思想，通过自适应地选择一些“困难预测”的体素，训练MLP子网络，对这些点进一步计算和预测，最终分割效果会优于普通的分割模型和传统的图像分割方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种颅内动脉分割方法，其特征在于，包括：
获取待分割的三维时间飞跃磁共振血管图像；
将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述第二卷积块模块包括四个依次连接的三维卷积块单元；所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块；所述第一卷积块模块，具体包括：四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层；所述空洞卷积层模块包括两个依次连接的三维空洞卷积层；每个三维卷积块的每一层均由两个三维卷积层和一个三线性插值层构成；所述三维体素渲染神经网络模块由体素选择策略、体素的特征提取以及体素的分类预测三个部分构成；
在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像，之前还包括：
对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像；
对所述重采样图像进行固定阈值门限分割得到二值图像；
对所述二值图像进行凸包检测得到前景掩膜图像；
对所述前景掩膜图像进行处理得到感兴趣区域。
2.根据权利要求1所述的一种颅内动脉分割方法，其特征在于，所述颅内动脉分割模型的确定方法为：
构建三维卷积神经网络模型；
获取待训练的三维时间飞跃磁共振血管图像；
以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出，采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
3.根据权利要求1所述的一种颅内动脉分割方法，其特征在于，在所述将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像之后还包括：
将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
4.一种颅内动脉分割系统，其特征在于，包括：
第一获取模块，用于获取待分割的三维时间飞跃磁共振血管图像；
颅内动脉图像确定模块，用于将所述待分割的三维时间飞跃磁共振血管图像输入颅内动脉分割模型得到所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像；所述颅内动脉分割模型为对三维卷积神经网络模型进行训练得到的，所述三维卷积神经网络模型包括依次连接的第一卷积块模块和第二卷积块模块；所述第一卷积块模块包括多个依次连接的空洞卷积块，所述第二卷积块模块包括多个依次连接的三维卷积块单元，所述第二卷积块模块包括四个依次连接的三维卷积块单元；所述三维卷积块单元包括依次连接的三维卷积块和三维体素渲染神经网络模块；所述颅内动脉图像确定模块中的第一卷积块模块，具体包括：四个依次连接的空洞卷积块，各所述空洞卷积块均包括依次连接的空洞卷积层模块和最大池化层；所述空洞卷积层模块包括两个依次连接的三维空洞卷积层；每个三维卷积块的每一层均由两个三维卷积层和一个三线性插值层构成；所述三维体素渲染神经网络模块由体素选择策略、体素的特征提取以及体素的分类预测三个部分构成；
重采样模块，用于对所述三维时间飞跃磁共振血管图像进行重采样得到重采样图像；
二值图像确定模块，用于对所述重采样图像进行固定阈值门限分割得到二值图像；
前景掩膜图像确定模块，用于对所述二值图像进行凸包检测得到前景掩膜图像；
感兴趣区域确定模块，用于对所述前景掩膜图像进行处理得到感兴趣区域。
5.根据权利要求4所述的一种颅内动脉分割系统，其特征在于，还包括：
构建模块，用于构建三维卷积神经网络模型；
第二获取模块，用于获取待训练的三维时间飞跃磁共振血管图像；
训练模块，用于以所述待训练的三维时间飞跃磁共振血管图像为输入，以所述待训练的三维时间飞跃磁共振血管图像中的颅内动脉图像为输出，采用反向传播算法和梯度下降算法对所述三维卷积神经网络模型进行训练得到颅内动脉分割模型。
6.根据权利要求4所述的一种颅内动脉分割系统，其特征在于，还包括：三维可视化模块，用于将所述待分割的三维时间飞跃磁共振血管图像中的颅内动脉图像输入三维可视化模块得到颅内动脉三维模型。
CN202110665097.8A 2021-06-16 2021-06-16 一种颅内动脉分割方法及系统 Active CN113313728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110665097.8A CN113313728B (zh) 2021-06-16 2021-06-16 一种颅内动脉分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110665097.8A CN113313728B (zh) 2021-06-16 2021-06-16 一种颅内动脉分割方法及系统

Publications (2)

Publication Number Publication Date
CN113313728A CN113313728A (zh) 2021-08-27
CN113313728B true CN113313728B (zh) 2022-11-01

Family

ID=77379058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110665097.8A Active CN113313728B (zh) 2021-06-16 2021-06-16 一种颅内动脉分割方法及系统

Country Status (1)

Country Link
CN (1) CN113313728B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764788B (zh) * 2022-03-29 2022-12-16 首都医科大学附属北京天坛医院 一种颅内动脉狭窄检测方法及系统
CN114972361B (zh) * 2022-04-25 2022-12-16 北京医准智能科技有限公司 一种血流分割方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及系统
CN110619641A (zh) * 2019-09-02 2019-12-27 南京信息工程大学 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN110827242B (zh) * 2019-10-23 2022-06-14 华中科技大学 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN111524142B (zh) * 2020-03-10 2023-06-30 浙江工业大学 一种脑血管图像自动分割方法

Also Published As

Publication number Publication date
CN113313728A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN107749061A (zh) 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
CN111932529B (zh) 一种图像分类分割方法、装置及系统
EP3712849B1 (en) Automated uncertainty estimation of lesion segmentation
CN113313728B (zh) 一种颅内动脉分割方法及系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112767417A (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN113506222A (zh) 一种基于卷积神经网络的多模态图像超分辨方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN113487536A (zh) 图像分割方法、计算机设备和存储介质
Rashid et al. Single MR image super-resolution using generative adversarial network
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
CN111598891B (zh) 斑块稳定性的识别方法、装置、设备及存储介质
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN116129124A (zh) 一种图像分割方法、系统及设备
Qin et al. A2OURSR: Adaptive adjustment based real MRI super-resolution via opinion-unaware measurements
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
JP7548296B2 (ja) 管状フィーチャのセグメント化
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN118229682B (zh) 基于深度学习的眼底图像视杯视盘分割方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant