CN110852987B - 基于深形态学的血管斑块检测方法、设备及存储介质 - Google Patents
基于深形态学的血管斑块检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110852987B CN110852987B CN201910906501.9A CN201910906501A CN110852987B CN 110852987 B CN110852987 B CN 110852987B CN 201910906501 A CN201910906501 A CN 201910906501A CN 110852987 B CN110852987 B CN 110852987B
- Authority
- CN
- China
- Prior art keywords
- image
- wall
- probability map
- detection
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于深形态学的血管斑块检测方法、设备及存储介质,包括以下步骤:S1:从T1加权MRI图像的选取三个相邻切片的感兴趣区域ROI形成三重输入序列,并通过三重输入序列得到血管壁图;S2:通过检测神经网络将血管壁图和三重输入序列进行若干次复合,得到形态复合结果和图像复合结果;S3:将形态复合结果、图像复合结果以及形态复合结果和图像复合结果并行叠加的结果进行全局平均池化后通过全连接得到形态学输出、图像输出和联合输出,通过sigmoid激活联合输出得到初始检测结果;S4:通过检测损失函数优化预设次数初始检测结果得到最终的检测结果。本发明将形态流和图像流组合,形成多模态信息流进行检测,大大提高了斑块检测的准确性。
Description
技术领域
本发明属于医学图像处理领域,涉及一种基于深形态学的血管斑块检测方法、设备及存储介质。
背景技术
动脉粥样硬化是全球发病率和死亡率的主要原因,其中人类临床意义重大的动脉粥样硬化疾病的最重要部位之一是颈动脉。颈动脉粥样硬化是进行性全身性疾病,其特征是动脉粥样硬化斑块的形成,表现为血管壁增厚导致狭窄,血管壁结构改变导致卒中。因此,早期发现和适当治疗颈动脉粥样硬化可预防心血管疾病。临床上,斑块负担通常用于测量斑块的大小和用来确定斑块在血管壁上的种类,因此它更为重要的作用在于监控颈动脉粥样硬化的进展,以及通过颈动脉成像来确定是否发生了颈动脉动脉粥样硬化。美国心脏协会(AHA)显示I型和II型病变不仅在MRI图像上与正常血管壁难以区分,而且在组织学上也被认为是动脉粥样硬化改变的可逆期。
现有方法大多仅通过定量分析颈动脉粥样硬化斑块负荷(如血管壁厚度和标准化壁指数)来完成颈动脉粥样硬化的研究。而血管壁厚度的测量是一项具有挑战性的工作,因为严重病变的动脉和颈动脉分叉附近的腔和外壁边界的形状是不常见的。还有一些颈动脉粥样硬化的临床检测仅仅把血管壁图作为原始图像的加权图,过于简单直接的使用形态学信息,但这种方法的难度较大,可能会影响到原始血管壁图的结构信息和平滑度。此外,分割较差的血管壁图可能含有背景或丢失一些重要的血管壁信息,这将极大地影响检测性能。此外,大量潜在的有价值的影像学标志物表明,颈动脉粥样硬化斑块的检测应采用基于所有相关因素的综合评分,而不仅仅是依靠上述的斑块负荷来评评价。
综上,现有血管动脉粥样硬化斑块检测方法过于简单的使用形态学信息,导致检测的准确性不高。
发明内容
本发明的目的在于克服上述现有技术中血管动脉粥样硬化斑块检测方法过于简单的使用形态学信息,导致检测的准确性不高的缺点,提供一种基于深形态学的血管斑块检测方法、设备及存储介质。
为达到上述目的,本发明采用以下技术方案予以实现:
一种基于深形态学的血管斑块检测方法,用于非疾病诊断目的,包括以下步骤:
S1:从T1加权MRI图像的每层切片上均选取感兴趣区域ROI,选取三个相邻切片的感兴趣区域ROI形成三重输入序列,并通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图,通过内腔概率图和外壁概率图组合形成血管壁图,将三重输入序列和血管壁图均输入检测神经网络;
S2:通过检测神经网络将血管壁图进行若干次卷积池化复合操作,得到形态复合结果;通过检测神经网络将三重输入序列进行若干次卷积池化复合操作,得到图像复合结果;每次卷积池化复合操作包括连续的两次卷积操作和一次最大池化,每次卷积操作均包括依次进行的3x3卷积、批次归一化和线性校正;
S3:将形态复合结果进行全局平均池化后通过全连接得到形态学输出;将图像复合结果进行全局平均池化后通过全连接得到图像输出;将形态复合结果和图像复合结果并行叠加,将并行叠加结果依次进行两次卷积操作和一次全局平均池化后通过全连接得到联合输出,通过sigmoid激活联合输出得到初始检测结果;
S4:根据形态学输出、图像输出和联合输出构造检测损失函数,通过检测损失函数优化预设次数初始检测结果得到最终的检测结果。
本发明基于深形态学的血管斑块检测方法进一步的改进在于:
所述S1中通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图的具体方法为:
R1:从T1加权MRI图像的所有切片中选取三个相邻切片,三个相邻切片上均选取感兴趣区域ROI,将三个感兴趣区域ROI形成三重输入序列并输入分割神经网络;
R2:通过分割神经网络的收缩路径对三重输入序列依次进行若干次下采样,其中,每次下采样前均进行两次卷积操作;
R3:通过分割神经网络的扩张路径,根据每次下采样的结果通过联合跳跃链接进行若干次上采样操作,将每次上采样的结果并行叠加得到与三重输入序列尺寸相同的特征图;
R4:将特征图进行1x1的卷积后通过sigmoid激活,得到初始的内腔概率图和外壁概率图,通过分割损失函数对内腔概率图和外壁概率图进行预设次数的优化,得到最终的内腔概率图和外壁概率图。
所述R1中选取感兴趣区域ROI的具体方法为:
在T1加权MRI图像的切片上设置手动中心点,依据手动中心点获取80×80像素的区域,得到感兴趣区域ROI。
所述R1中选取三个相邻切片的感兴趣区域ROI组成三重输入序列的具体方法为:
通过式(1)对每个感兴趣区域ROI进行调整,得到调整图像ui:
其中:vi是待调整感兴趣区域ROI中像素的强度,vmin是待调整感兴趣区域ROI中像素的最小强度,vmax是待调整感兴趣区域ROI中像素的最大强度;
将三个调整图像组合形成三重输入序列。
所述R4中将特征图进行1x1的卷积后通过sigmoid激活,得到初始的内腔概率图和外壁概率图的具体方法为:
其中:Wl为计算内腔概率图所用的所有标准网络层参数的集合,Wo为计算外壁概率图所用的所有标准网络层参数的集合,Wv为计算血管壁区域概率图所用的所有标准网络层参数的集合,α,β和γ是三个超参数且均为1,为内腔Dice损失,为外壁Dice损失,为血管壁Dice损失,且:
其中:yi为真实标签,通过以AHA类型作为标记进行预设,其中I型和II型病变的切片定义为正常,其他切片定义为动脉粥样硬化斑块,p(xi)是任意一组三重输入序列和血管壁图的形态输出、图像输出或联合输出。
本发明另一方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述基于深形态学的血管斑块检测方法的步骤。
本发明又一方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于深形态学的血管斑块检测方法的步骤。
与现有技术相比,本发明具有以下有益效果:
本发明通过结合颈动脉血管壁分割网络结果,通过利用血管壁图进行卷积池化复合操作,最终得到形态学流,利用形态学信息建立颈动脉粥样硬化斑块的检测网络,进而提高检测性能,检测神经网络通过卷积和全局平均池化操作生成了两个深层流即形态流和图像流,为了利用多模态信息进行检测,将形态流和图像流组合在特征层中联合输出,并作为最终分类输出一起学习,将形态学信息和图像信息融合,增加了信息,提高了检测的准确性,其中,形态流从中学习形态特征,从形态子网获得的血管壁图,而图像流从T1加权MRI图像学习诸如图像属性的特征,类似于深度监督的网络,来自两个流的两个额外的深度反馈即损失函数,作为一个综合评分,用于“引导”检测网络的训练。此外,使用AHA类型作为标记,其中I型和II型病变的切片定义为正常,其他切片定义为动脉粥样硬化,用来训练分类器检测AHA类型,大大提高了分类效率,增加了斑块检测的准确性。本检测方法不需要定量分析斑块厚度,仅仅需要把分割结果和原始三重输入序列输入检测网络即可得到检测结果,很好的使用了形态学信息,解决了形态学信息怎么利用的问题,可做到自动斑块检测,在今后可为医生提供检测建议,使用方便,操作简单,实用性极强。
进一步的,通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图采用腔和外壁区域的同时分割,首先,通过增加了两个相邻的切片获取2.5D信息,用于增强整体信息,克服沿颈动脉中心线的二维切片缺乏空间信息的问题。其次,通过分割网络的收缩路径和扩张路径形成U型卷积网络,通过将每次上采样的结果并行叠加实现加权融合,使用U型卷积神经网络和加权融合层作为分割神经网络的主体,融合了上采样过程中的多尺度特征层信息,提升了分割效果。另外,通过将管腔区域分割和外壁区域分割组合在一起,将腔体和外壁区域的分割作为单分割子网络中的一个多标签问题来研究,只需要一个分割网络就能解决,通过设计新的三重的分割损失函数来监督网络学习,通过应用分割损失函数来制定内腔面积和外壁区域的关系,通过一个端到端的网络,能够自动地从T1加权MRI图像中分割出颈动脉中的内腔和外壁,基于高精度的分割结果,可以通过分割结果快捷检测出颈动脉粥样硬化斑块,使用方便,操作简单,实用性极强。
附图说明
图1为本发明的检测神经网络的结构示意图;
图2为本发明的分割神经网络的结构示意图;
图3为本发明的分割神经网络和检测神经网络总图;
图4为本发明的从T1加权MRI图像中获取三重输入序列的过程示意图;
图5为本发明的方法得到的T1加权MRI图像和相应的分割检测结果;
图6为本发明的医生和不同方法得到的腔体和外壁的分割结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
参见图1至4,本发明基于深形态学的血管斑块检测方法,用于非医疗诊断目的,主要用于建模、教学或人工智能研究等,具体地说,主要用于探究深度学习方法在医学图像中的普适性,推动人工智能在医学图像中的应用,包括以下步骤:
S1:从T1加权MRI图像的每层切片上均选取感兴趣区域ROI,选取三个相邻切片的感兴趣区域ROI形成三重输入序列,并通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图,通过内腔概率图和外壁概率图组合形成血管壁图,将三重输入序列和血管壁图均输入检测神经网络。
其中,S1中通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图的具体方法为:
R1:从T1加权MRI图像的所有切片中选取三个相邻切片,三个相邻切片上均选取感兴趣区域ROI,将三个感兴趣区域ROI形成三重输入序列并输入分割神经网络。选取感兴趣区域ROI的具体方法为:在T1加权MRI图像的切片上设置手动中心点,依据手动中心点获取80×80像素的区域,得到感兴趣区域ROI。选取三个相邻切片的感兴趣区域ROI组成三重输入序列的具体方法为:
通过式(1)对每个感兴趣区域ROI进行调整,得到调整图像ui:
其中:vi是待调整感兴趣区域ROI中像素的强度,vmin是待调整感兴趣区域ROI中像素的最小强度,vmax是待调整感兴趣区域ROI中像素的最大强度;将三个调整图像组合形成三重输入序列。
R2:通过分割神经网络的收缩路径对三重输入序列依次进行若干次下采样,其中,每次下采样前均进行两组卷积操作;下采样操作为最大池化操作。
R3:通过分割神经网络的扩张路径,根据每次下采样的结果通过联合跳跃链接进行若干次上采样操作,将每次上采样的结果并行叠加得到与三重输入序列尺寸相同的特征图。
R4:将特征图进行1x1的卷积后通过sigmoid激活,得到初始的内腔概率图和外壁概率图,通过分割损失函数对内腔概率图和外壁概率图进行预设次数的优化,得到最终的内腔概率图和外壁概率图。其中,将特征图进行1x1的卷积后通过sigmoid激活,得到初始的内腔概率图和外壁概率图的具体方法为:
其中,σ(·)是在每个像素处计算的sigmoid激活函数,M是上采样的次数,是第m次上采样得到的结果,是第m层内腔预测的预设融合权重,是第m层外壁预测的预设融合权重,wlumen和wouterwall的集合表示为:
其中:Wl为计算内腔概率图所用的所有标准网络层参数的集合,Wo为计算外壁概率图所用的所有标准网络层参数的集合,Wv为计算血管壁概率图所用的所有标准网络层参数的集合,α,β和γ是三个超参数且均为1,为内腔Dice损失,为外壁Dice损失,为血管壁Dice损失,且:
S2:通过检测神经网络将血管壁图进行若干次卷积池化复合操作,得到形态复合结果;通过检测神经网络将三重输入序列进行若干次卷积池化复合操作,得到图像复合结果;每次卷积池化复合操作包括连续的两次卷积操作和一次最大池化,每次卷积操作均包括依次进行的3x3卷积、批次归一化和线性校正。
S3:将形态复合结果进行全局平均池化后通过全连接得到形态学输出;将图像复合结果进行全局平均池化后通过全连接得到图像输出;将形态复合结果和图像复合结果并行叠加,将并行叠加结果依次进行两次卷积操作和一次全局平均池化后通过全连接得到联合输出,通过sigmoid激活联合输出得到初始检测结果。
S4:根据形态学输出、图像输出和联合输出构造检测损失函数,通过检测损失函数优化预设次数初始检测结果得到最终的检测结果。
其中:yi为真实标签,通过以AHA类型作为标记进行预设,其中I型和II型病变的切片定义为正常,其他切片定义为动脉粥样硬化斑块,p(xi)是任意一组三重输入序列和血管壁图的形态输出、图像输出或联合输出。
下面详细介绍本发明基于深形态学网络的血管壁分割方法的具体原理和设计思路:
本发明提出的一种基于深形态学网络的血管壁分割方法,包括对内腔和外壁进行分割的分割神经网络,同时本发明在网络中加入了分割损失函数对分割神经网络进行约束。具体分为一下几个部分:
构建分割网络。用一个经过修改的U形卷积网络(U-Net)作为分割神经网络的主体,其中包括一个收缩路径和一个扩张路径,还包括一个包含四个边层的深层网络,并在训练过程中加入加权融合层对边层进行融合,学习融合权值。与传统的U形卷积网络相比,本发明提出的网络结构有以下三方面的不同:(i)每个卷积层(Conv)后面是一个批次归一化(BN)和一个线性校正单元(ReLU),这里将其称为一个复合层(Conv—BN—ReLU)。(ii)由于主要信息集中在图像中心,所以在收缩路径的每一个卷积层中都采用填充操作。因此,扩展路径中每一个核为2×2的上采样步骤都恢复到收缩路径中对应的特征图的大小,从而实现不裁剪的拼接操作。(iii)加权融合层结合了不同层的多尺度特征,提高了分割性能,这与之前的工作如全卷积网络(FCNs)类似。
特别是通过卷积运算实现简单的上采样操作,恢复最终层的大小。因此,所提出的分割神经网结构包括一个包含四个边层的深层网络,并在训练过程中加入加权融合层对边层进行融合,学习融合权值。在本发明中,融合加权层利用1×1的两个通道的卷积,然后进行sigmoid激活,生成像素级的腔和外壁的概率图。所述融合层的输出包括所述的内腔的概率图和所述的外壁概率图分别为:
其中,σ(·)是在每个像素处计算的sigmoid激活函数,M是边输出层的个数,本实施例中M=4,是第m个边输出层的结果,是第m层内腔预测的融合权重,然后是第m层外壁预测的融合权重,其中wlumen和wouterwall分别为:
采集分割网络的输入。将80×80像素的正方形图像放置在MRI图像切片的手动中心点处,并且提取为T1加权MRI图像切片的感兴趣区域(ROI),并且同时提取三个连续切片的ROI。来自三个连续MRI图像切片的ROI形成三重输入序列,其中第一片和第三片切片用作第二片切片以提供第二片切片的2.5D信息,该第二片切片是在研究中被分割和检测的目标切片这为了将每个裁剪图像的强度调整为相对均匀并且增加图像的对比度,在下述公式给出线性变换:
其中,vi和ui是裁剪图像中像素的强度和相应的调整图像,而vmin和vmax是裁剪图像的最小强度和最大强度。
通过分割神经网络分割内腔和外壁。将内腔和外壁的分割任务作为图像多特征的多分类问题,利用三重输入序列作为输入,加入三重损失函数作为分割神经网络的损失函数得到最后的内腔和外壁的分割结果。这其中考虑了一个新的三重Dice损失函数用来同时分割内腔和外壁。虽然交叉熵损失通过反向传播对网络参数进行优化,用于多标签分割,但一般适用于学习图像中多个类之间的弱关联。但是,内腔区域被这里的外壁区域覆盖,这意味着标记为内腔的像素也被标记为外壁,不包括内腔区域的外壁区域应该形成一个环。因此,通过考虑内腔面积和外壁面积之间的关系来探索伴随收缩的损失。将所有标准网络层参数集合表示为WS,定义分割神经网络的Dice损失函数为:
其中,Wl为计算内腔概率图所用的所有标准网络层参数的集合,Wo为计算外壁概率图所用的所有标准网络层参数的集合,Wv为计算血管壁概率图所用的所有标准网络层参数的集合,α,β和γ是三个超参数且均为1,为内腔Dice损失,为外壁Dice损失,为血管壁Dice损失且:
构建检测神经网络。本发明开发了两个具有相同结构的CNN来学习所提出的检测网络中各流的特征,其中复合层(Conv-BN-ReLU)也作为一个单元来学习每个CNN分层流的层次特征。开发了两个具有相同结构的CNN来学习所提出的检测神经网络中各流的特征,其中复合层(Conv-BN-ReLU)也作为一个单元来学习每个CNN分层流的层次特征。具体来说,在每个流中,每两个复合层后增加一个最大池化层,其固定大小为2×2,然后在每两个复合层中将卷积层的核数增加一倍,从16个增加到64个。由于部分T1加权MRI图像中血管壁厚度仅为2或3个像素,因此选取卷积核大小为3×3,步长为1的图像进行处理。受全局平均池(GAP)的启发,我们在每一个最大池层之后在卷积特征图中添加一个GAP层,并将其作为全连接层的特征向量来生成所需的输出。最后,在间隙层之后,剩下的一层是一个全连接的层,由一个sigmoid激活的神经元组成,用来检测产生颈动脉粥样硬化斑块的概率。
为了进一步有效地利用形态学流和图像流中的多模态信息,从两种流的输出(第l层)中得到两种对应的卷积特征图用于检测。特别是,连接上一个最大池化层的两个流,然后把结果输入到包括两个复合层的一个网络(128层内核的大小3×3,最大池化层大小2×2,间隔层和由一个sigmoid激活神经元全连接层)。因此,生成三个输出,分别为形态学输出、图像输出和联合输出,其中联合输出为检测神经网络的最终分类输出。
通过检测神经网络检测颈动脉粥样硬化斑块。利用构建的检测神经网络,将分割神经网络的输出结合三重输入序列输入检测神经网络中,结合用于最小化输出层分类误差的层权值的损失函数,得到颈颈动脉粥样硬化斑块的检测结果。通过检测神经网络通过对内腔概率图和外壁概率图进行减法运算得到血管壁图,检测神经网络包含形态学流和图像流然后将这两个流合并到特征层级,生成最终的检测结果并输出,从而减轻了分割错误的影响。进一步生成形态学流和图像流的两个输出,并利用两个额外的损失为“引导”特征流学习提供深度监控。
其中:yi为真实标签,通过以AHA类型作为标记进行预设,其中I型和II型病变的切片定义为正常,其他切片定义为动脉粥样硬化斑块,p(xi)是任意一组三重输入序列和血管壁图的形态输出、图像输出或联合输出。
本发明提出的DeepMAD网络(包括分割神经网络和检测神经网络)与其他现有的方法相比,可以实现前景分割性能(针对内腔的Dice达到0.9594,针对外壁的Dice达到0.9657)和更好的颈动脉粥样硬化斑块检测准确性(0.9503的AUC和0.8916的准确性)在测试数据集(包括无形的对象)从同一来源的训练数据集。此外,训练后的DeepMAD模型可以成功地转移到另一个测试数据集进行分割和检测任务,性能显著(内腔0.9475 Dice,外壁0.9542 Dice,0.9227 AUC,检测准确率0.8679)。具体性能参数请参见表1和2。
表1不同方法的分割效果比较表
表2不同方法的检测效果比较表
方法 | AUC | 精度 | 召回率 | 准确率 |
Fine-tuning VGG-16 | 0.7183 | 0.4795 | 0.6376 | 0.6935 |
Image Network | 0.9283 | 0.7288 | 0.8239 | 0.8593 |
DeepMADw/oDS | 0.9367 | 0.7870 | 0.8206 | 0.8878 |
DeepMAD-IS | 0.9254 | 0.7768 | 0.7717 | 0.8688 |
DeepMAD-MS | 0.9406 | 0.7766 | 0.8239 | 0.8796 |
本发明 | 0.9503 | 0.8029 | 0.8326 | 0.8916 |
提出的DeepMAD网络也能自动将腔体和外壁分割在一起,检测出高性能的颈动脉粥样硬化斑块。DeepMAD网络可以用于临床试验,帮助放射科医生摆脱枯燥乏味的阅读任务,比如筛查性检查,将正常颈动脉与动脉粥样硬化动脉分开,并勾勒出血管壁轮廓。
参见图4,为从T1加权MRI图像中获取三重输入序列的过程示意,(a)区域为连续颈动脉切片中三个感兴趣区(以白色方块标记),(b)区域为对应的80x80像素裁剪图像,(c)区域为调整后的图像裁剪图像。
参见图5,为由深形态学网络得到T1加权MRI图像和相应的分割检测结果;其中第i行显示的是颈动脉分叉和颈内动脉,第ii和iii行显示的是利用所提出的深形态学网络得到的相应的腔体分割和外壁分割,第iv行显示的专家的分割结果,第v行显示的是检测结果,其中NC表示动脉粥样硬化斑块不存在,AC表示动脉粥样硬化斑块存在。
参见图6,为不同方法得到的腔体和外壁的分割结果;其中(a-f)为训练有素的放射科医生标注的结果,(g-l)为传统的U-Net方法得到的结果,(m-r)提出的无血管壁损失的分割子网所得到的的结果,(s-r)我们的分割网络得到的结果。
本发明基于深形态学的血管斑块检测方法可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明基于深形态学的血管斑块检测方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。其中,所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
在示例性实施例中,还提供计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于深形态学的血管斑块检测方法的步骤。处理器可能是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor、DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
与传统的基于模型的分割方法不同,提出了一种有效的分割子网,实现T1加权MRI图像上颈动脉一对相应的腔和外壁区域的同时分割,使用U型卷积神经网络将每次上采样得到的特征层叠加,形成加权融合层,另外,通过将内腔区域分割和外壁区域分割组合在一起,设计新的三重骰子损失来监督网络学习,其中可以通过应用三重Dice损失来制定内腔面积和外壁区域的关系,最后,得到颈动脉的内腔和外壁概率图。
将输出颈动脉的内腔和外壁概率图到检测神经网络,通过引入的检测神经网络以区分T1加权MRI图像上的动脉粥样硬化斑块和正常颈动脉,其中修改的AHA类型用作训练网络的标记。为了利用多模态信息进行检测,将两个深层流(即形态流和图像流)组合在特征层中,并作为最终分类输出一起学习,其中形态流从中学习形态特征,从形态子网获得的血管壁图,而图像流从T1加权MRI图像学习诸如图像属性的特征。类似于深度监督的网络,来自两个流的两个额外的深度反馈(即,损失)用于“引导”早期流特征学习。提出的DeepMAD网络是一个整体和端到端网络,其中分割神经网络和检测神经网络是级联的,为了克服沿着颈动脉中心线的2D切片缺乏空间信息,还将两个附加的相邻切片输入到所提出的DeepMAD网络中并用于获得2.5D信息,因此,DeepMAD网络可以在测试数据集上实现有前途的分割和检测性能,包括来自与训练数据集相同的来源的不可见主体。本发明DeepMAD网络对二维颈动脉血管壁区域进行分割,并对颈动脉粥样硬化切片进行检测,其中利用CNN将内腔和外壁区域分割在一起,自动检测颈动脉粥样硬化斑块,使用方便,操作简单,实用性极强。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (8)
1.一种基于深形态学的血管斑块检测方法,用于非疾病诊断目的,其特征在于,包括以下步骤:
S1:从T1加权MRI图像的每层切片上均选取感兴趣区域ROI,选取三个相邻切片的感兴趣区域ROI形成三重输入序列,并通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图,通过内腔概率图和外壁概率图组合形成血管壁图,将三重输入序列和血管壁图均输入检测神经网络;
S2:通过检测神经网络将血管壁图进行若干次卷积池化复合操作,得到形态复合结果;通过检测神经网络将三重输入序列进行若干次卷积池化复合操作,得到图像复合结果;每次卷积池化复合操作包括连续的两次卷积操作和一次最大池化,每次卷积操作均包括依次进行的3x3卷积、批次归一化和线性校正;
S3:将形态复合结果进行全局平均池化后通过全连接得到形态学输出;将图像复合结果进行全局平均池化后通过全连接得到图像输出;将形态复合结果和图像复合结果并行叠加,将并行叠加结果依次进行两次卷积操作和一次全局平均池化后通过全连接得到联合输出,通过sigmoid激活联合输出得到初始检测结果;
S4:根据形态学输出、图像输出和联合输出构造检测损失函数,通过检测损失函数优化预设次数初始检测结果得到最终的检测结果;
其中:yi为真实标签,通过以AHA类型作为标记进行预设,其中I型和II型病变的切片定义为正常,其他切片定义为动脉粥样硬化斑块,p(xi)是任意一组三重输入序列和血管壁图的形态输出、图像输出或联合输出。
2.根据权利要求1所述的基于深形态学的血管斑块检测方法,其特征在于,所述S1中通过分割神经网络分割三重输入序列得到内腔概率图和外壁概率图的具体方法为:
R1:从T1加权MRI图像的所有切片中选取三个相邻切片,三个相邻切片上均选取感兴趣区域ROI,将三个感兴趣区域ROI形成三重输入序列并输入分割神经网络;
R2:通过分割神经网络的收缩路径对三重输入序列依次进行若干次下采样,其中,每次下采样前均进行两次卷积操作;
R3:通过分割神经网络的扩张路径,根据每次下采样的结果通过联合跳跃链接进行若干次上采样操作,将每次上采样的结果并行叠加得到与三重输入序列尺寸相同的特征图;
R4:将特征图进行1x1的卷积后通过sigmoid激活,得到初始的内腔概率图和外壁概率图,通过分割损失函数对内腔概率图和外壁概率图进行预设次数的优化,得到最终的内腔概率图和外壁概率图。
3.根据权利要求2所述的基于深形态学的血管斑块检测方法,其特征在于,所述R1中选取感兴趣区域ROI的具体方法为:
在T1加权MRI图像的切片上设置手动中心点,依据手动中心点获取80×80像素的区域,得到感兴趣区域ROI。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906501.9A CN110852987B (zh) | 2019-09-24 | 2019-09-24 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906501.9A CN110852987B (zh) | 2019-09-24 | 2019-09-24 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110852987A CN110852987A (zh) | 2020-02-28 |
CN110852987B true CN110852987B (zh) | 2022-04-22 |
Family
ID=69596050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910906501.9A Active CN110852987B (zh) | 2019-09-24 | 2019-09-24 | 基于深形态学的血管斑块检测方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852987B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507381B (zh) * | 2020-03-31 | 2024-04-02 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
CN112242193B (zh) * | 2020-11-16 | 2023-03-31 | 同济大学 | 一种基于深度学习的自动血管穿刺方法 |
CN112801047B (zh) * | 2021-03-19 | 2021-08-17 | 腾讯科技(深圳)有限公司 | 缺陷检测方法、装置、电子设备及可读存储介质 |
US12094112B2 (en) | 2022-01-27 | 2024-09-17 | Siemens Healthineers Ag | Coronary lumen and reference wall segmentation for automatic assessment of coronary artery disease |
EP4220553B1 (en) * | 2022-01-27 | 2024-08-07 | Siemens Healthineers AG | Coronary lumen and reference wall segmentation for automatic assessment of coronary artery disease |
CN114677503A (zh) * | 2022-03-10 | 2022-06-28 | 上海联影医疗科技股份有限公司 | 感兴趣区域检测方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709967A (zh) * | 2016-12-23 | 2017-05-24 | 天津恒宇医疗科技有限公司 | 一种内窥成像算法及控制系统 |
WO2017091833A1 (en) * | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
CN109360208A (zh) * | 2018-09-27 | 2019-02-19 | 华南理工大学 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
CN109584209A (zh) * | 2018-10-29 | 2019-04-05 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
-
2019
- 2019-09-24 CN CN201910906501.9A patent/CN110852987B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017091833A1 (en) * | 2015-11-29 | 2017-06-01 | Arterys Inc. | Automated cardiac volume segmentation |
CN106709967A (zh) * | 2016-12-23 | 2017-05-24 | 天津恒宇医疗科技有限公司 | 一种内窥成像算法及控制系统 |
CN109360208A (zh) * | 2018-09-27 | 2019-02-19 | 华南理工大学 | 一种基于单程多任务卷积神经网络的医学图像分割方法 |
CN109584209A (zh) * | 2018-10-29 | 2019-04-05 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
Non-Patent Citations (2)
Title |
---|
Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder;Chirag Balakrishna et al;《arXiv》;20180620;1-10页 * |
基于深度卷积神经网络的肺结节检测与识别;唐思源等;《科学技术与工程》;20190831;第19卷(第22期);241-248页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110852987A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852987B (zh) | 基于深形态学的血管斑块检测方法、设备及存储介质 | |
Hasan et al. | DSNet: Automatic dermoscopic skin lesion segmentation | |
CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
Danelakis et al. | Survey of automated multiple sclerosis lesion segmentation techniques on magnetic resonance imaging | |
Sevastopolsky | Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network | |
Aljabri et al. | A review on the use of deep learning for medical images segmentation | |
Zhao et al. | Automatic extraction and stenosis evaluation of coronary arteries in invasive coronary angiograms | |
Horng et al. | DeepNerve: a new convolutional neural network for the localization and segmentation of the median nerve in ultrasound image sequences | |
Suri et al. | UNet deep learning architecture for segmentation of vascular and non-vascular images: a microscopic look at UNet components buffered with pruning, explainable artificial intelligence, and bias | |
Hu et al. | Explainable artificial intelligence-based edge fuzzy images for COVID-19 detection and identification | |
CN110853045B (zh) | 基于核磁共振图像的血管壁分割方法、设备及存储介质 | |
CN111091573A (zh) | 基于深度学习的ct影像肺血管的分割方法及系统 | |
Abdelmaguid et al. | Left ventricle segmentation and volume estimation on cardiac mri using deep learning | |
Zhou et al. | Fully automatic deep learning trained on limited data for carotid artery segmentation from large image volumes | |
CN112308846A (zh) | 血管分割方法、装置及电子设备 | |
Sofian et al. | Calcification detection using convolutional neural network architectures in intravascular ultrasound images | |
Sarica et al. | A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images | |
Abbasi et al. | Automatic brain ischemic stroke segmentation with deep learning: A review | |
Salahuddin et al. | Multi-resolution 3d convolutional neural networks for automatic coronary centerline extraction in cardiac CT angiography scans | |
Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
Cui et al. | Supervised machine learning for coronary artery lumen segmentation in intravascular ultrasound images | |
Brahim et al. | A 3D network based shape prior for automatic myocardial disease segmentation in delayed-enhancement MRI | |
Mu et al. | Automatic segmentation of abdominal aortic aneurysms from CT angiography using a context-aware cascaded U-Net | |
Tan et al. | A lightweight network guided with differential matched filtering for retinal vessel segmentation | |
Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |