CN113674291A - 一种全类型主动脉夹层真假腔图像分割方法及系统 - Google Patents

一种全类型主动脉夹层真假腔图像分割方法及系统 Download PDF

Info

Publication number
CN113674291A
CN113674291A CN202110935123.4A CN202110935123A CN113674291A CN 113674291 A CN113674291 A CN 113674291A CN 202110935123 A CN202110935123 A CN 202110935123A CN 113674291 A CN113674291 A CN 113674291A
Authority
CN
China
Prior art keywords
true
image
false
data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110935123.4A
Other languages
English (en)
Other versions
CN113674291B (zh
Inventor
崔灵果
徐佩怡
柴森春
王昭洋
朱恩军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110935123.4A priority Critical patent/CN113674291B/zh
Publication of CN113674291A publication Critical patent/CN113674291A/zh
Application granted granted Critical
Publication of CN113674291B publication Critical patent/CN113674291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种全类型主动脉夹层真假腔图像分割方法及系统,利用基于注意力机制的分割网络模型对待分割真假腔图像进行分割,将得到的掩膜图映射到所述待分割真假腔图像中,得到分割结果。在训练分割网络模型的过程中,对主动脉区域及真腔和假腔进行标注,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,其在保证分割精度的前提下解决了现有技术中的非全自动化问题,并且提出使用基于注意力机制的主动脉夹层真假腔分割神经网络模型,使模型对于真假腔的区别更加敏感,从而提高了模型的精度。

Description

一种全类型主动脉夹层真假腔图像分割方法及系统
技术领域
本发明涉及图像分割技术领域,特别是涉及一种全类型主动脉夹层真假腔图像分割方法及系统。
背景技术
现有的端到端的主动脉夹层真假腔图像分割方法以一系列CT图像组成的三维体数据作为输入,通过各种语义分割网络,实现主动脉夹层真假腔的分割。主动脉几何结构是圆形管腔,但由于其在人体内呈现弯曲状态,其CT图像序列并不完全是规则的圆形,给分割带来难度,故非端到端的主动脉夹层分割方法增加了提取主动脉中心线这一步骤,通过沿中心线的多平面重建,获取拉直后的主动脉三维图像。这一类研究工作以多平面重建后的主动脉夹层数据作为输入,恢复了主动脉圆形管腔的几何形态,使夹层具有更明显的特征,往往分割精度更高,但是其分割过程非全自动化。
因此,本领域亟需一种全自动化的高精度的全类型主动脉夹层真假腔图像分割的技术方案。
发明内容
本发明的目的是提供一种全类型主动脉夹层真假腔图像分割方法及系统,以解决目前分割精度不高或者分割过程非全自动化的问题。
为实现上述目的,本发明提供了如下方案:
一种全类型主动脉夹层真假腔图像分割方法,所述方法包括:
获取待分割真假腔图像;
利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
可选的,在所述利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图之前,还包括:
根据主动脉区域CT值范围,对所述待分割真假腔图像进行阈值化处理,得到待分割阈值化数据;
利用灰度变换处理所述待分割阈值化数据,得到待分割灰度变换数据;灰度变换的公式为:CTout_log=10log(1+CTout),其中,CTout表示图像阈值处理后的CT值,CTout_log表示经过对数灰度变换后的CT值。
可选的,所述基于注意力机制的分割网络模型的训练方法包括:
获取真假腔图像;
对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
可选的,在所述对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据之后,还包括:
使用最近邻插值算法将所述真假腔数据的数据维度归一化,得到归一化真假腔数据;
对所述归一化真假腔数据进行裁剪,保留所述真假腔数据中的中心区域。
可选的,在所述对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据之后,还包括:
根据主动脉区域CT值范围,对所述真假腔数据进行阈值化处理,得到阈值化数据;
利用灰度变换处理所述阈值化数据,得到灰度变换数据;灰度变换的公式为:CTout_log=10log(1+CTout),其中,CTout表示图像阈值处理后的CT值,CTout_log表示经过对数灰度变换后的CT值。
可选的,在所述利用灰度变换处理所述阈值化数据,得到灰度变换数据之后,还包括:
利用数值归一化处理公式,对所述灰度变换数据进行数值归一化处理;所述归一化处理公式为:
Figure BDA0003212589520000031
其中,imageout为经过数值归一化处理后的图像,imagein为灰度变换处理后的图像,min_bound为图像中最小CT值,取0,max_bound为图像中最大CT值,取为800。
可选的,所述损失函数为:
Figure BDA0003212589520000032
其中,nc表示类别数,类别包括真腔、假腔和背景;i表示第i个类别;
Figure BDA0003212589520000033
式中misb为类间三维共享面度量矩阵,大小为nc×nc
Figure BDA0003212589520000034
代表真假腔分割掩膜图的类间三维共享面度量矩阵,
Figure BDA0003212589520000035
代表标注之后的真假腔图像的掩膜图的类间三维共享面度量矩阵。
可选的,在得到分割网络模型之后,还包括:
利用Dice系数判断所述分割网络模型的性能是否达到要求;
若各类别分割的Dice系数均大于90%,则所述分割网络模型满足性能要求;
若所述分割网络模型达不到性能要求,则调整所述超参数,重新训练网络模型。
一种全类型主动脉夹层真假腔图像分割系统,所述系统包括:
图像获取单元,用于获取待分割真假腔图像;
图像分割单元,用于利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
分割结果获取单元,用于将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
可选的,所述系统还包括:
训练图像获取单元,用于获取真假腔图像;
训练图像标注单元,用于对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
分割网络模型训练单元,用于:
设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的全自动化的全类型主动脉夹层真假腔图像分割方法及系统,在保证分割精度的前提下解决了现有技术中的非全自动化问题。并且,针对主动脉夹层真假腔具有空间相关性的特点,提出使用基于注意力机制的主动脉夹层真假腔分割神经网络模型,使模型对于真假腔的区别更加敏感,从而提高了模型的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的全类型主动脉夹层真假腔图像分割方法流程图。
图2为本发明实施例一提供的上下采样过程的基本单元混合注意力模块示意图。
图3为本发明实施例一提供的3D卷积过程示意图
图4为本发明实施例一提供的主动脉夹层真假腔图像分割网络示意图。
图5为本发明实施例一提供的主动脉夹层真假腔图像分割系统的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前为止,主动脉夹层真假腔图像分割方法主要有传统的方法,和目前最为流行的基于深度学习的方法两种。
传统的主动脉夹层真假腔图像分割技术有基于模型的方法、基于海森矩阵的方法和基于小波分析的方法等,这些传统的方法利用主动脉形态的先验知识,结合传统的图像处理方法,通过完整主动脉分割、内膜片检测和真假腔分离等多个步骤完成主动脉夹层的分割。但是存在以下局限性:1)强烈依赖于主动脉夹层先验知识,对于主动脉夹层动脉瘤、血栓等特殊情况,传统方法无法将真假腔分割出来。2)主动脉同时含有竖直和弯曲的形态,传统方法难以适用全段。3)多步骤实现主动脉夹层真假腔的分割,某一步骤失败即无法得到最后分割的结果。
随着深度学习在计算机视觉领域快速的发展,在医学图像领域也有越来越多的相关研究,并取得不错的效果,在主动脉夹层真假腔图像的分割这一课题研究上,主要有端到端和非端到端的两种方法,各种研究工作都建立了各自非公开的主动脉夹层真假腔图像数据集。而主动脉夹层的标注是一项十分费时费力的工作,往往还需要结合专业知识,各数据集的准确性有待考究,这也是深度学习还未在主动脉夹层分割问题上深度开展的原因。
端到端的主动脉夹层分割方法以一系列CT图像组成的三维体数据作为输入,通过各种语义分割网络,实现主动脉夹层真假腔的分割。主动脉几何结构是圆形管腔,但由于在人体内呈现弯曲状态,其CT图像序列并不完全是规则的圆形,给分割带来难度,故非端到端的主动脉夹层图像分割方法增加了提取主动脉中心线这一步骤,通过沿中心线的多平面重建,获取拉直后的主动脉三维图像。这一类研究工作以多平面重建后的主动脉夹层数据作为输入,恢复了主动脉圆形管腔的几何形态,使夹层具有更明显的特征,往往分割精度更高,但是其分割过程非全自动化。
通过以上关于主动脉夹层真假腔图像分割的相关研究,可知目前的主动脉夹层真假腔图像分割工作存在以下问题:1)选择的数据过于理想,去除了含血栓等特殊情况。目前还没有公开的主动脉夹层的数据集,所有的工作都基于各自所建立的数据集,通过他们的实验结果发现,对于血栓、壁间血肿等属于主动脉夹层假腔的情况,未正确标注或未标注。2)未充分考虑图像中主动脉真假腔与其他组织的空间相关性。3)现有的主动脉夹层真假腔图像分割未考虑包括分支血管在内的完整的主动脉,目前的研究工作均没有对分支血管夹层情况进行分割。
在此背景下,本发明提出了一种基于注意力机制的全类型主动脉夹层真假腔图像分割方法,实现了包括分支血管在内的主动脉A型和B型夹层的真假腔分割,不仅充分考虑了主动脉夹层的空间相关性,还通过注意力机制使便于真假腔区分的重要区域权重提升,使模型精度进一步提升。另外通过引入类间三维共享面损失函数,解决了某些A型样本中真假腔类别不平衡从而模型真假腔分割精度低的问题,实现了A型和B型主动脉夹层真假腔的分割。
本发明的目的是提供一种全类型主动脉夹层真假腔图像分割方法及系统,以解决目前分割精度不高或者分割过程非全自动化的问题
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一:
如图1所示,本发明实施例提供了一种全类型主动脉夹层真假腔图像分割方法,该方法包括:
S1、获取待分割真假腔图像;
获取到待分割真假腔图像之后,先要对其进行预处理过程,具体包括:
(1)数据维度归一化
一方面网络模型的输入需要相同数据维度,另一方面大数据训练对计算机显存有较大的需求。因此第一步我们需要将数据维度归一化,使用最近邻插值算法,ndimage库中zoom函数可实现这一功能。接下来,为减少其他组织区域的影响,裁剪包含主动脉的中心区域。
(2)数值归一化及灰度变换
其次,增强CT图像的CT值可以反应人体组织或器官密度大小,计量单位为HU,不同组织CT值不同,根据主动脉区域CT值范围,对所述待分割真假腔图像进行阈值化处理,得到待分割阈值化数据,对裁剪后的待分割真假腔图像进行阈值化处理,可以进一步排除背景区域的干扰,具体处理为:
Figure BDA0003212589520000071
其中,CTin表示原始待分割真假腔图像的CT值,CTout表示图像阈值处理后待分割真假腔图像的CT值,经过阈值化处理,CT值小于0的区域全部被抑制。由于部分主动脉夹层假腔中造影剂的流动速度慢或不含造影剂,故在待分割真假腔图像的CT图像中CT值与其他组织较接近,特别在边界处肉眼较难区分开,本发明使用灰度变换对待分割阈值化数据进行处理,以增大低CT值区域的差别,使之边界更为明显,具体使用对数变换,使变换后的CT值差异增大,得到待分割灰度变换数据:
CTout_log=10log(1+CTout)
其中,CTout表示待分割阈值化数据的CT值,CTout_log表示待分割灰度变换数据的CT值。
最后,由于灰度变换后得到的待分割灰度变换数据中主动脉区域CT值差别仍然很大,在0-800之间,会导致后续神经网络模型训练不稳定,因此需要通过下式对待分割灰度变换数据中的CT值进行归一化处理:
Figure BDA0003212589520000072
其中,imageout为经过数值归一化后的图像,imagein为待分割灰度变换数据,min_bound为图像中最小CT值,取0,max_bound为图像中最大CT值,取为800,经过此归一化处理,数据集图像像素值在0-1之间。
S2、利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
S3、将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
具体的,本发明实施例中所述基于注意力机制的分割网络模型的训练方法包括:
A1、获取真假腔图像;
构建包含分支血管在内的全类型主动脉夹层真假腔图像数据集,原始数据为来源于某医院影像科200例主动脉夹层患者的胸腹CTA图像,按照DICOM协议存储,每一例数据由数百至上千张不等的图像组成,一张图像对应一个.DCM文件,除了影像外,一例数据中还包括了CT扫描机器信息、扫描层厚、时间信息和患者信息等。
A2、对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
使用软件3D slicer可打开原始图像,原始图像大小为512×512×S(S为图像张数,500-2000张不等),为训练分割网络模型,需要对每一例数据每一张图像中主动脉区域及真腔和假腔进行人工标注,标注范围由上至下,涉及从头臂干动脉、左颈总动脉和左锁骨下动脉到股动脉,并包含冠状动脉、肾动脉、肠系膜上、下动脉等分支血管的主动脉区域。经过标注并保存后,得到由200例数据组成的数据集,按照6:2:2的比例可以分为训练集、验证集和测试集,每一例数据包含.nii格式的真假腔图像的原始图像和对应的标注了完整主动脉和真假腔的真假腔图像的掩膜图,真假腔图像的掩膜图为.nrrd格式,此人工标注结果即作为真实值用于后续步骤中网络训练的标准。
经标注后形成的数据集,要用于神经网络模型训练还需要数据预处理,包括数据维度归一化、数据灰度变换和数值归一化三个方面。
(1)数据维度归一化
首先,数据集中的数据大小为512×512×S,一方面网络模型的输入需要相同数据维度,另一方面大数据训练对计算机显存有较大的需求。因此第一步需要将数据维度归一化,使用最近邻插值算法将所述真假腔数据的数据维度归一化,得到归一化真假腔数据,ndimage库中zoom函数可实现这一功能,归一化后数据维度由512×512×S变成统一的256×256×256。接下来,为减少其他组织区域的影响,对所述归一化真假腔数据进行裁剪,保留所述真假腔数据中的中心区域,数据维度变为128×128×256。
(2)数值归一化及灰度变换
增强CT图像的CT值可以反应人体组织或器官密度大小,计量单位为HU,不同组织CT值不同,根据主动脉区域CT值范围,对裁剪后的图像进行阈值化处理,可以进一步排除背景区域的干扰,得到阈值化数据,具体处理为:
Figure BDA0003212589520000091
其中,CTin表示裁剪后的图像的CT值,CTout表示图像阈值处理后的CT值,经过阈值化处理,CT值小于0的区域全部被抑制。由于部分主动脉夹层假腔中造影剂的流动速度慢或不含造影剂,故在CTA图像中CT值与其他组织较接近,特别在边界处肉眼较难区分开,本发明使用灰度变换对阈值化数据进行处理,以增大低CT值区域的差别,使之边界更为明显,具体使用对数变换,使变换后的CT值差异增大:
灰度变换的公式为:CTout_log=10log(1+CTout),其中,CTout表示阈值化数据的CT值,CTout_log表示经过对数灰度变换后的CT值。
最后,由于灰度变换后阈值化数据中主动脉区域CT值差别仍然很大,在0-800之间,会导致后续神经网络模型训练不稳定,因此需要利用数值归一化处理公式,对所述灰度变换数据进行数值归一化处理;所述归一化处理公式为:
Figure BDA0003212589520000092
其中,imageout为经过数值归一化处理后的图像,imagein为灰度变换处理后的阈值化数据,min_bound为图像中最小CT值,取0,max_bound为图像中最大CT值,取为800,经过此归一化处理,数据集图像像素值在0-1之间,大小均为128×128×256。
A3、设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
所述损失函数为:
Figure BDA0003212589520000093
其中,nc表示类别数,类别包括真腔、假腔和背景;i表示第i个类别;
Figure BDA0003212589520000094
式中misb为类间三维共享面度量矩阵,大小为nc×nc
Figure BDA0003212589520000101
代表真假腔分割掩膜图的类间三维共享面度量矩阵,
Figure BDA0003212589520000102
代表标注之后的真假腔图像的掩膜图的类间三维共享面度量矩阵。
作为一种具体的实施方式,本实施例中利用如下方法设计训练分割网络模型:
首先需要设定主动脉夹层真假腔分割神经网络的超参数,包括学习速率(learning rate=0.0005),迭代次数(epoch=100),批处理数量(batch size=4)等,之后可以开始训练网络。此处所使用的数据集为训练集和验证集。
该步骤主要是设计主动脉夹层真假腔分割的神经网络模型,所提出的方法基础结构与Attention-Unet网络相似,但基础单元不同。下面分别介绍各个单元:
(1)基本单元混合注意力模块
如图2所示为上下采样过程的基本单元混合注意力模块,输入为通道数为n的特征图,此处的特征图即为上述经过数据预处理之后的图像,经过第一步3D conv+BN+ReLu三层操作得到初步提取特征的通道数为2n的特征图。3Dconv即3D卷积,如图3所示,通过3*3*3的卷积核过滤器依次在特征图上遍历计算,即全特征图共享卷积核参数,可以提取到特征图上的信息。使用3D卷积,适用于主动脉夹层三维数据,进而掌握主动脉夹层空间相关性。BN指归一化层,对输入的特征图进行减均值除以方差的操作,作用一是加快了模型的训练速度,作用二则是限制特征图数据的分布,有利于模型训练。最后Relu层为激活层,通过如下式所示的relu函数对特征图进行非线性映射,以增加模型非线性表达能力。
f(x)=max(0,x)
第二步仍然是3D卷积,进一步提取特征图的抽象信息。第三步为3DDilation-Conv,即3D空洞卷积,卷积过程和普通的3D卷积相同,不同的地方在于卷积核过滤器数值之间有间隔,可以在保持卷积核参数大小不变的同时,增大卷积核的视野。经过第四步再一次3D卷积后,通过如下式所示的Sigmoid激活函数层,将特征图数值映射到[0,1]之间,至此得到了原输入特征图的权重图,图2中权重图内不同花色表示不同权重。
Figure BDA0003212589520000111
将此权重图与第二步所得的特征图相乘后,即给特征图赋予了权重,得到加权的特征图,最后与第一步得到的特征图相加,即结合了加权值与特征值,得到最后输出特征图。通过神经网络迭代训练计算上述权重,真假腔区域的权重将上升,模型更能关注到决定主动脉真假腔的关键部位,加强了模型对于空间相关性的敏感度,增加模型分割准确度。
(2)整体网络模型
该网络的输入为步骤A2中所得到的imageout,尺寸为128×128×256,网络最终层为Softmax层,通过指数函数归一化来完成每一像素值类别的预测,输出为尺寸3×128×128×256的掩膜图,3代表了类别数,即代表输出值有三个维度,取值为0,1,2,维度0代表背景,维度1代表真腔,维度2代表假腔,在每一维度和原图对应的128×128×256大小体数据中,像素值为0和1,1即代表此像素被预测为该维度对应的类别。从数据预处理到网络输出整体流程的主动脉真假腔图像分割网络如图4所示。
整体网络为一个U型结构,基本单元即上述混合注意力模块,网络主要可以分为下采样、上采样、跳跃连接三个部分,下采样通过最大值池化实现,经过一次最大值池化,通道数增加,特征图尺寸减小,即逐步获取特征图抽象信息。上采样过程通过反卷积实现,经过一次反卷积,通道数减小,特征图尺寸增加,会恢复到原输入特征图大小。跳跃连接使用了注意力门控模块,其获取权重的过程类似于上述混合注意力模块,通过卷积加上激活函数得到特征图的权重,将所得的权重乘以下一层特征图即给特征图赋予了权重,最后得到的特征图与下一层特征图上采样后的特征图拼接在一起形成改成混合注意力模块的输入。
经过主动脉真假腔图像分割网络,即为一次前向传播,得到主动脉夹层真假腔的预测值,此处的预测值即为具有类别信息的真假腔分割掩膜图,神经网络的训练需要定义损失函数,来表示真实值和预测值之间的偏差,当偏差大于设定的阈值,将继续训练,反向传播更新网络参数来优化网络模型,直到损失函数达到极小值或者小于设定的阈值。
分割网络常使用Dice Loss来作为损失函数,表达式如下式所示:
Dice Loss=1-Dice
其中,Dice系数是一种集合相似度度量函数,用于计算两个样本的相似度,表达式如下:
Figure BDA0003212589520000121
X和Y分别代表真实值和预测值,在分割任务中,样本中的元素即每一个像素点,Dice系数衡量了各类别真实掩膜图(即步骤A2中标注之后的真假腔图像的掩膜图)和预测掩膜图(主动脉夹层真假腔图像分割网络的输出值,即预测值)之间的相似度,也是预测准确性的衡量指标。
在实际的主动脉夹层临床图片中,常会有真假腔类别不平衡的情况存在,此时体积占比小的类别其分割效果不如体积占比大的类别,本发明针对的主动脉夹层类别包含A型和B型,其中A型夹层存在的类别不平衡问题更为明显。并且,在本发明中,小类别是真腔或者假腔是完全随机的,并不能通过施加固定的权重来解决类别不平衡的问题。因此,本实施例针对主动脉夹层图像中真假腔类别不平衡的问题,提出了类间三维共享面损失函数,表达式如下式所示:
Figure BDA0003212589520000122
其中nc表示类别数,在此主动脉夹层真假腔的分割任务中,类别包括真腔、假腔和背景共3类,即nc=3。misb为类间三维共享面度量矩阵,大小为nc×nc
Figure BDA0003212589520000123
代表预测掩膜图的类间三维共享面度量矩阵,
Figure BDA0003212589520000124
代表真实掩膜图的类间三维共享面度量矩阵,misb(i,j)的计算方法如下:
Figure BDA0003212589520000125
其中si和sij分别代表类别i外平面大小和类别j与类别i之间共享面大小,在三维体数据中,每一个像素当作一个立方体,每一面面积为单位1,则对于空间中位于(x,y,z)位置的像素点,计算与其他类别的共享面时,要考虑周围相邻六个像素点,即临近像素点集M={(x,y-1,z),(x,y+1,z),(x-1,y,z),(x+1,y,z),(x,y,z-1),(x,y,z+1)}。
在本实施例中nc=3,则有:
Figure BDA0003212589520000131
类间三维共享面度量矩阵不依赖于目标对象的大小,而对空间相邻共享面变化敏感,一定程度上平衡了小类别对Dice Loss贡献小的问题,提高了小类别的分割精度,解决了主动脉真假腔类别不平衡的问题。
最终总损失为Dice Loss和ISB Loss的组合,如下式所示:
Figure BDA0003212589520000132
总体来讲,训练分割网络模型的过程包括:设定主动脉夹层真假腔分割神经网络的超参数,包括学习速率,迭代次数,批处理数量等,之后开始训练网络,将预处理后的真假腔数据输入主动脉真假腔图像分割网络,输出得到具有类别信息的真假腔分割掩膜图,再通过损失函数OverallLoss,计算真假腔分割掩膜图与标注之后的真假腔图像的掩膜图之间的损失函数,直到结果收敛,损失函数小于设定阈值,或者达到训练次数,否则反向更新网络的超参数,继续训练,反向更新一次网络的超参数即为一次训练。训练完成后,将网络模型保存下来,得到基于注意力机制的分割网络模型,以便后续使用。
经过上述对主动脉真假腔图像分割网络训练后,该神经网络对于训练集和验证集具有一定的拟合能力,为考察模型对于新数据的拟合能力,本实施例使用测试集对上述基于注意力机制的分割网络模型进行性能评估,利用Dice系数判断所述分割网络模型的性能是否达到要求;
若各类别分割的Dice系数均大于90%,则所述分割网络模型满足性能要求;
若所述分割网络模型达不到性能要求,则调整所述超参数,重新训练网络模型。
在具体使用该分割网络模型的过程中,首先使用步骤A2中数据预处理对原始的主动脉夹层CTA图像进行处理,再加载保存下来的网络模型超参数,然后将预处理后的数据输入到该分割网络模型中,通过前向传播计算得到主动脉夹层真假腔图像分割结果掩膜图。
最后将该分割结果掩膜图映射到原主动脉夹层CTA图像中,即可得到对应的主动脉夹层真假腔在原图上的预测分割结果。
如图5所示,本发明实施例还提供了一种全类型主动脉夹层真假腔图像分割系统,所述系统包括:
图像获取单元M1,用于获取待分割真假腔图像;
图像分割单元M2,用于利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
分割结果获取单元M3,用于将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
作为一种可选的实施方式,本实施例所提供的全类型主动脉夹层真假腔图像分割系统还包括:
训练图像获取单元,用于获取真假腔图像;
训练图像标注单元,用于对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
分割网络模型训练单元,用于:
设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
本发明实施例提供的全类型主动脉夹层真假腔图像分割方法及系统针对部分主动脉夹层假腔CT值与其他组织较接近,在边界处难以区分的问题,提出使用对数灰度变化的处理过程,可以强化主动脉夹层数据特征,提高模型精度。通过使用对数灰度变换对图像进行处理,根据对数函数的性质,在靠近0的小值取对数后差距会增大,并且对大值的增长也有一定的限制。故使用对数变换后可以增大低CT值区域的差别,使之原本难以区分的边界更为明显,使模型更容易学习到主动脉夹层的特征,从而模型精度提升。
本发明针对主动脉夹层真假腔具有空间相关性的特点,提出使用基于注意力机制的主动脉夹层真假腔分割神经网络模型,使模型对于真假腔的区别更加敏感,从而提高了模型的精度。通过使用混合注意力模块,在训练中原三维体数据被施加权重并逐步优化此权重,使重要部分的权重上升,模型更能关注到决定主动脉真假腔的关键部位,加强了模型对于空间相关性的敏感度,增加模型分割准确度。
本发明针对全类型主动脉真假腔分割的类别不平衡问题,提出应用类间三维共享面损失提高小类别对于训练过程的贡献,使模型对于真假腔类别不平衡的样本也能具有很好的拟合能力。类间三维共享面度量函数不依赖于目标对象的大小,而对空间相邻共享面变化敏感,一定程度上平衡了体积小的类别对基于像素点评估的Dice Loss贡献小的问题,提高了小类别的分割精度,解决了主动脉真假腔类别不平衡分割精度低的问题,使模型同时适用于A型和B型主动脉夹层的真假腔分割。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种全类型主动脉夹层真假腔图像分割方法,其特征在于,所述方法包括:
获取待分割真假腔图像;
利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
2.根据权利要求1所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,在所述利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图之前,还包括:
根据主动脉区域CT值范围,对所述待分割真假腔图像进行阈值化处理,得到待分割阈值化数据;
利用灰度变换处理所述待分割阈值化数据,得到待分割灰度变换数据;灰度变换的公式为:CTout_log=10log(1+CTout),其中,CTout表示图像阈值处理后的CT值,CTout_log表示经过对数灰度变换后的CT值。
3.根据权利要求1所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,所述基于注意力机制的分割网络模型的训练方法包括:
获取真假腔图像;
对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
4.根据权利要求3所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,在所述对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据之后,还包括:
使用最近邻插值算法将所述真假腔数据的数据维度归一化,得到归一化真假腔数据;
对所述归一化真假腔数据进行裁剪,保留所述真假腔数据中的中心区域。
5.根据权利要求3所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,在所述对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据之后,还包括:
根据主动脉区域CT值范围,对所述真假腔数据进行阈值化处理,得到阈值化数据;
利用灰度变换处理所述阈值化数据,得到灰度变换数据;灰度变换的公式为:CTout_log=10log(1+CTout),其中,CTout表示图像阈值处理后的CT值,CTout_log表示经过对数灰度变换后的CT值。
6.根据权利要求5所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,在所述利用灰度变换处理所述阈值化数据,得到灰度变换数据之后,还包括:
利用数值归一化处理公式,对所述灰度变换数据进行数值归一化处理;所述归一化处理公式为:
Figure FDA0003212589510000021
其中,imageout为经过数值归一化处理后的图像,imagein为灰度变换处理后的图像,min_bound为图像中最小CT值,取0,max_bound为图像中最大CT值,取为800。
7.根据权利要求3所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,所述损失函数为:
Figure FDA0003212589510000022
其中,nc表示类别数,类别包括真腔、假腔和背景;i表示第i个类别;
Figure FDA0003212589510000023
式中misb为类间三维共享面度量矩阵,大小为nc×nc
Figure FDA0003212589510000024
代表真假腔分割掩膜图的类间三维共享面度量矩阵,
Figure FDA0003212589510000025
代表标注之后的真假腔图像的掩膜图的类间三维共享面度量矩阵。
8.根据权利要求3所述的全类型主动脉夹层真假腔图像分割方法,其特征在于,在得到分割网络模型之后,还包括:
利用Dice系数判断所述分割网络模型的性能是否达到要求;
若各类别分割的Dice系数均大于90%,则所述分割网络模型满足性能要求;
若所述分割网络模型达不到性能要求,则调整所述超参数,重新训练网络模型。
9.一种全类型主动脉夹层真假腔图像分割系统,其特征在于,所述系统包括:
图像获取单元,用于获取待分割真假腔图像;
图像分割单元,用于利用基于注意力机制的分割网络模型对所述待分割真假腔图像进行分割,得到分割结果掩膜图;
分割结果获取单元,用于将所述分割结果掩膜图映射到所述待分割真假腔图像中,得到分割结果。
10.根据权利要求9所述的全类型主动脉夹层真假腔图像分割系统,其特征在于,所述系统还包括:
训练图像获取单元,用于获取真假腔图像;
训练图像标注单元,用于对所述真假腔图像中的主动脉区域及真腔和假腔进行标注,得到真假腔数据;所述真假腔数据包括真假腔图像和标注之后的真假腔图像的掩膜图;
分割网络模型训练单元,用于:
设定分割神经网络的超参数,利用3D卷积提取真假腔数据的主动脉夹层空间相关性,并利用混合注意力模块作为基本单元进行上下采样对所述真假腔数据施加权重,通过指数函数归一化完成每一像素值类别的预测,得到具有类别信息的真假腔分割掩膜图;计算所述真假腔分割掩膜图与所述标注之后的真假腔图像的掩膜图之间的损失函数,直至结果收敛或者达到训练次数,得到分割网络模型。
CN202110935123.4A 2021-08-16 2021-08-16 一种全类型主动脉夹层真假腔图像分割方法及系统 Active CN113674291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110935123.4A CN113674291B (zh) 2021-08-16 2021-08-16 一种全类型主动脉夹层真假腔图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110935123.4A CN113674291B (zh) 2021-08-16 2021-08-16 一种全类型主动脉夹层真假腔图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN113674291A true CN113674291A (zh) 2021-11-19
CN113674291B CN113674291B (zh) 2024-07-16

Family

ID=78542897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110935123.4A Active CN113674291B (zh) 2021-08-16 2021-08-16 一种全类型主动脉夹层真假腔图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN113674291B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332072A (zh) * 2022-01-05 2022-04-12 北京理工大学 一种主动脉夹层疾病分型方法和装置、存储介质
CN114359308A (zh) * 2022-01-07 2022-04-15 北京理工大学 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN117911304A (zh) * 2024-03-19 2024-04-19 长春理工大学 一种基于计算关注区域权重的分段灰度变换方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805134A (zh) * 2018-06-25 2018-11-13 慧影医疗科技(北京)有限公司 一种主动脉夹层分割模型的构建方法及应用
CN109035255A (zh) * 2018-06-27 2018-12-18 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN110796670A (zh) * 2019-10-30 2020-02-14 北京理工大学 一种夹层动脉分割方法及装置
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805134A (zh) * 2018-06-25 2018-11-13 慧影医疗科技(北京)有限公司 一种主动脉夹层分割模型的构建方法及应用
CN109035255A (zh) * 2018-06-27 2018-12-18 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN110796670A (zh) * 2019-10-30 2020-02-14 北京理工大学 一种夹层动脉分割方法及装置
CN112785581A (zh) * 2021-01-29 2021-05-11 复旦大学附属中山医院 基于深度学习的提取训练大血管cta成像的培训方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRADLEY FEIGER等: "Predicting Aneurysmal Degeneration of Type B Aortic Dissection with Computational Fluid Dynamics", BCB ’21, 4 August 2021 (2021-08-04) *
王子颜: "主动脉夹层图像的分割方法研究", 新疆大学硕士学位论文, 1 May 2021 (2021-05-01) *
程俊龙: "基于深度学习的主动脉夹层图像分割和检测方法研究", 新疆大学硕士学位论文, 26 May 2021 (2021-05-26) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332072A (zh) * 2022-01-05 2022-04-12 北京理工大学 一种主动脉夹层疾病分型方法和装置、存储介质
CN114359308A (zh) * 2022-01-07 2022-04-15 北京理工大学 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN117911304A (zh) * 2024-03-19 2024-04-19 长春理工大学 一种基于计算关注区域权重的分段灰度变换方法和系统

Also Published As

Publication number Publication date
CN113674291B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN111476757B (zh) 一种冠脉斑块数据检测方法、系统、存储介质、终端
CN108805134B (zh) 一种主动脉夹层分割模型的构建方法及应用
CN113674291A (zh) 一种全类型主动脉夹层真假腔图像分割方法及系统
JP5926728B2 (ja) 内科医が直接用いるのに適応したビジュアライゼーション
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
US20220284583A1 (en) Computerised tomography image processing
CN112308846B (zh) 血管分割方法、装置及电子设备
CN108846829A (zh) 病变部位识别方法及装置、计算机装置及可读存储介质
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN112348818B (zh) 一种图像分割方法、装置、设备以及存储介质
CN115018863A (zh) 基于深度学习的图像分割方法及装置
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113223704A (zh) 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN117274185A (zh) 检测方法、检测模型产品、电子设备及计算机存储介质
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN110739050A (zh) 一种左心室全参数及置信度的量化方法
CN115810018A (zh) Ct图像血管树、冠状动脉树的分割结果优化方法、系统
CN115761024A (zh) 血管掩码图像生成方法、装置、电子设备及存储介质
CN117078711A (zh) 医学图像分割方法、系统、电子设备和存储介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN113706541A (zh) 一种图像处理方法及装置
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant