CN116823833B - 全方位mip图像颅内动脉瘤检测方法、系统及设备 - Google Patents

全方位mip图像颅内动脉瘤检测方法、系统及设备 Download PDF

Info

Publication number
CN116823833B
CN116823833B CN202311098829.5A CN202311098829A CN116823833B CN 116823833 B CN116823833 B CN 116823833B CN 202311098829 A CN202311098829 A CN 202311098829A CN 116823833 B CN116823833 B CN 116823833B
Authority
CN
China
Prior art keywords
image
mip
intracranial aneurysm
module
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311098829.5A
Other languages
English (en)
Other versions
CN116823833A (zh
Inventor
刘庆一
成锦
白培瑞
宋雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311098829.5A priority Critical patent/CN116823833B/zh
Publication of CN116823833A publication Critical patent/CN116823833A/zh
Application granted granted Critical
Publication of CN116823833B publication Critical patent/CN116823833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/0985Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学图像处理技术领域,公开了一种全方位MIP图像颅内动脉瘤检测方法、系统及设备。本发明包括如下步骤:对三维MRA图像进行全方位最大密度投影获得多幅MIP图像;对MIP图像中颅内动脉瘤区域进行预定位;将预定位图像送入利用SE模块改进后的CaraNet的检测模型中,对预定位图像进行颅内动脉瘤检测。本发明以全方位MIP图像为检测对象的SE‑CaraNet模型,能够提供不同方位投影下的图像密度信息,克服了单方位MIP图像检测颅内动脉瘤的遮挡问题,由于全方位MIP图像比3D MRA图像层数更少,因此训练时间更短。本发明方法提高了MIP图像中未破裂颅内动脉瘤的检测精度。

Description

全方位MIP图像颅内动脉瘤检测方法、系统及设备
技术领域
本发明属于医学图像处理技术领域,特别涉及一种全方位MIP图像颅内动脉瘤检测方法、系统及设备。
背景技术
目前,3D TOF-MRA(Three Dimensional Timeof Flight Magnetic ResonanceAngiography,三维时间飞跃法磁共振血管成像)技术在颅内动脉瘤检查与诊断中具有较大的应用潜力,不使用造影剂,具有安全无创的优势。然而,使用3D TOF-MRA图像进行动脉瘤检测会存在对小型颅内动脉瘤不敏感以及训练时间久、内存占用高等问题,同时由于3DMRA图像层数多,医生手动阅片的工作量大大增加,高强度的阅片工作会降低放射科医生诊断的敏感性。
3D TOF-MRA图像旋转投影并生成的MIP(Maximum Intensity Projection,最大密度投影)图像极大程度的保留了原始图像的密度信息,血管结构相对完整清晰,医生的阅片效率更高。但通过MIP图像检测颅内动脉瘤也有一定缺陷,主要体现在颅内动脉瘤发生位置随机,考虑到血管遮挡等问题,颅内动脉瘤只在某些投影角度易于观察,并且不同人脑血管结构有差异,使得最佳投影角度具有随机性。因此,限制了单角度MIP投影的临床应用价值。
发明内容
本发明的目的在于提出一种全方位MIP图像颅内动脉瘤检测方法,以解决现有人工判读方法易受医生主观经验影响和费时费力的问题,提高颅内动脉瘤检测的准确性和效率,并且采用全方位投影的连续MIP图像检测,利于克服传统单方位MIP图像易漏检目标的缺点。
本发明为了实现上述目的,采用如下技术方案:
全方位MIP图像颅内动脉瘤检测方法,包括如下步骤:
步骤1. 对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像;
步骤2. 基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位,得到预定位图像;
步骤3. 将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果。
此外,在上述全方位MIP图像颅内动脉瘤检测方法的基础上,本发明还提出了一种与之相适应的全方位MIP图像颅内动脉瘤检测系统,其采用如下技术方案:
一种全方位MIP图像颅内动脉瘤检测系统,包括:
图像处理模块,用于对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像;
预定位模块,基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位,得到预定位图像;
以及检测模块,用于将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果。
此外,在上述全方位MIP图像颅内动脉瘤检测方法的基础上,本发明还提出了一种计算机设备,该计算机设备包括存储器和一个或多个处理器。
所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,用于实现上述全方位MIP图像颅内动脉瘤检测方法的步骤。
此外,在上述全方位MIP图像颅内动脉瘤检测方法的基础上,本发明还提出了一种计算机可读存储介质,其上存储有程序。
该程序被处理器执行时,用于实现上述全方位MIP图像颅内动脉瘤检测方法的步骤。
本发明具有如下优点:
如上所述,本发明述及了一种全方位MIP图像颅内动脉瘤检测方法,该方法首先对3D TOP-MRA图像进行全方位投影,生成MIP图像;然后,利用匹配滤波算法进行全方位预定位;最后,使用SE(Squeeze-and-Excitation)模块对CaraNet(上下文轴向反向注意网络,Context Axial Reverse Attention Network)进行改进,对全方位预定位的图像进行颅内动脉瘤检测。实验结果表明,本发明以全方位MIP图像为检测对象的SE-CaraNet模型,能够提供不同方位投影下的图像密度信息,克服了单方位MIP图像检测颅内动脉瘤的遮挡问题,同时由于本发明所采用的全方位 MIP图像比3D MRA图像层数更少,因此基于全方位MIP图像检测算法的训练时间更短。本发明方法提高了MIP图像中未破裂颅内动脉瘤的检测精度。
附图说明
图1为本发明实施例中全方位MIP图像颅内动脉瘤检测方法的流程图。
图2为本发明实施例中全方位投影示意图。
图3为本发明实施例中颅内动脉瘤区域预定位过程示意图。其中,(a)为原始MIP图像,(b)为匹配滤波结果,(c)为二值化后的匹配滤波灰度图,(d)为图像掩膜,(e)为轮廓灰度图,(f)为轮廓二值图,(g)为去轮廓的二值图,(h)为最大连通域图像,(i)为预定位图像。
图4为本发明实施例中构建的SE-CaraNet网络架构示意图。
图5为本发明实施例中SE模块示意图。
图6为本发明实施例中CFP模块结构图。
图7为本发明实施例中ARA注意力模块示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
实施例1
如图1所示,本实施例1述及了一种全方位MIP图像颅内动脉瘤检测方法,以提高MIP图像中颅内动脉瘤检测的准确性和效率,该方法具体包括如下步骤:
步骤1. 对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像。
本实施例对3D TOF-MRA图像进行全方位最大密度投影,对所有保存的MIP图像进行颅内动脉瘤检测。最大密度投影是通过计算沿着被扫描物体每条射线上所遇到的最大密度像素而产生的,当光线通过体数据时,密度最大的像素被保存并投影到二维平面上,进而形成MIP图像,其能很好的显示血管的诸如狭窄、扩张等变化。
全方位最大密度投影过程示意图如图2所示。
每个样本均以α(例如取值为10°)的投影角度从3D TOF-MRA图像保存并生成MIP图像,当旋转 180°之后共得到18幅MIP图像,18幅连续MIP图像作为一个样本数据。
MIP 图像极大程度的保留了原始图像的密度信息,血管结构相对完整清晰,与3DTOF-MRA 图像相比,MIP图像不仅层数更少,而且医生阅片更为直观,效率更高,在二维图像上实现颅内动脉瘤的快速检测。
本实施例通过对3D TOF-MRA的全方位MIP图像进行连续检测,有效克服了仅使用单个或有限个数投影角度MIP图像的信息丢失导致易漏检目标的问题。
步骤2. 基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位。
本实施例针对送入SE-CaraNet网络训练前的MIP图像进行了预定位处理。
由于原始MIP图像中存在相当多的黑色背景区域会占用大量的计算资源,而对颅内动脉瘤的特征学习没有任何帮助。因此,本发明提出基于解剖先验的颅内动脉瘤区域预定位方法,利用颅内动脉瘤依附于血管出现的解剖先验知识,通过血管定位出颅内动脉瘤可能出现的区域,可降低计算花费的同时减少颅骨等目标干扰,从而有效提高检测精度。
具体的,将步骤1得到的18幅MIP图像作为一个样本数据进行预定位处理,对每幅MIP图像均进行预定位,并对应得到一幅预定位图像,总共输出18幅预定位图像。
由于原始MIP图像尺寸较大,通常在送入模型训练和测试之前需要进行随机裁剪,虽然弱化了噪声的干扰,但也增加了计算花费。因此,本实施例提出了一种基于解剖先验的颅内动脉瘤区域预定位方法,如图3所示。颅内动脉瘤区域预定位的过程具体为:
步骤2.1. 原始MIP图像(如图3中的(a)所示)经过匹配滤波得到匹配滤波结果(如图3中的(b)所示),利用匹配滤波器抑制颅内动脉瘤血管图像中的背景,以增强血管的对比度。
匹配滤波器的内核K(x,y)表示如下:
(1)
其中,(x,y)表示内核坐标,σ表示滤波器横截面强度的范围,L代表血管的长度;在本实施例中σ例如设为2,L例如取值为9。
考虑到血管方向与垂直方向的夹角是任意角度θ,0≤θ≤π,以Δθ间隔,利用方向滤波器得到多个不同方向的滤波器响应,并以最大滤波器响应值作为最后输出。
在本实施例中Δθ例如取值为15°,利用方向滤波器得到12个不同方向的滤波器响应。
设θi为第i个匹配核的血管方向,旋转坐标系中对应的点(u,v)为:
(2)
邻域范围的控制参数取值为:
(3)
因此,第i个匹配核对应的权重Ki(x,y)为:
(4)
设A表示邻域N中像素点的个数,则高斯模板均值M0为:
(5)
则去除均值后的匹配滤波函数表示为:(x,y)= Ki(x,y)-M0 (6)
步骤2.2. 在原始MIP图像(如图3中的(a)所示)上利用OTSU(最大类间方差法)获得图像掩膜(如图3中的(d)所示)。
步骤2.3. 将匹配滤波结果(如图3中的(b)所示)与图像掩膜(如图3中的(d)所示)相减得到轮廓灰度图(如图3中的(e)所示)。
步骤2.4. 将轮廓灰度图(如图3中的(e)所示)进行中值滤波并膨胀,二值化之后生成血管的轮廓二值图(如图3中的(f)所示)。
步骤2.5. 将匹配滤波结果(如图3中的(b)所示)进行二值化处理得到匹配滤波灰度图(如图3中的(c)所示),将二值化后的匹配滤波灰度图(如图3中的(c)所示)与轮廓二值图(如图3中的(f)所示)相减得到去轮廓的二值图(如图3中的(g)所示)。
步骤2.6. 用最大连通域检测从步骤2.5得到的去轮廓的二值图中去除血管以外的噪声像素点得到最大连通域图像(如图3中的(h)所示),获得血管区域的中心点坐标。
步骤2.7. 根据原始MIP图像(如图3中的(a)所示),以得到的血管区域的中心点坐标为中心进行裁剪,裁剪出颅内动脉瘤预定位区域,得到预定位图像(如图3中的(i)所示)。
在本实施例中,例如采用192×192的裁剪区域进行裁剪。
步骤3. 将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果。
对颅内动脉瘤区域进行预定位得到预定位图像后,将预定位图像送入全方位MIP图像颅内动脉瘤检测模型,检测模型是以CaraNet的结构为主干网络,通过引入SE模块对其进行改进,得到SE-CaraNet网络,使其适用于颅内动脉瘤检测。
CaraNet 网络无论是在部分解码器、通道特征金字塔都有多种高级特征的融合,在解码器端利用不同策略将不同层级特征信息进行聚合,能够有效的利用全局信息。通过引入SE模块,为解码器端提供更多具有通道权重信息的深度特征,进而提高模型的全局学习能力,使其更适用于颅内动脉瘤小目标检测任务,在颅内动脉瘤检测任务中的性能得以提升。
本实施例中搭建的SE-CaraNet网络架构如图4所示。SE-CaraNet网络架构包括编码器、SE模块、部分解码器PD、CFP(通道特征金字塔,Channel-wise Feature Pyramid)模块、ARA(Axial Reverse Attention)注意力模块以及深度监督模块。
信号在SE-CaraNet网络中的处理流程如下:
首先将预定位图像送入编码器,进行普通卷积提取特征,输出f1、f2、f3、f4、f5五层特征;同时经过SE模块,在通道维度进行特征学习,图像尺寸变小,通道数增多,再用部分解码器PD将高级特征f3、f4、f5进行聚合,其计算公式为 PD = pd(f3, f4, f5),得到一个具有丰富信息的全局特征图 Sg。然后高级特征f3、f4、f5通过由Inception以及空洞卷积组成的CFP模块,提取并融合多尺度特征得到输出f3'、f4'、f5'。注意力模块由轴向与反向注意力组成的,轴向注意力机制简化自注意力运算的同时,捕获更长的上下文依赖关系,获得全局特征信息。特征f3'、 f4'、f5'再进入ARA注意力模块,得到高级侧输出特征S3、S4、S5。考虑到颅内血管凸起的颅内动脉瘤与周围背景的像素值差异比较明显,且全局特征图Sg只能捕捉颅内动脉瘤的大致区域,因此利用反向注意力机制将f5和Sg下采样后进行聚合,f4和已经与f5聚合后的Sg进行聚合,f3和经过f4、f5聚合的Sg再聚合,以此来获取更多细节,更好的捕捉互补区域。最后将全局特征图Sg以及高级侧输出特征S3、S4、S5通过深度监督模块,由混合损失函数指导网络训练,得到最终的颅内动脉瘤检测结果。
其中,编码器端由Res2Net五个卷积层构成,通过卷积输出f1、f2、f3、f4、f5五层特征,由于CaraNet的主要改进是基于解码器的特征融合,进入解码器之前提取的特征对于颅内动脉瘤检测至关重要,因此,在CaraNet网络引入通道注意力机制SE模块。
SE模块结构如图5所示,在通道维度进行特征学习,强调各个通道的重要程度,在编码器端提高深度学习网络的特征提取能力,从而提升模型的检测性能。
SE模块的处理流程如下:
首先定义特征f∈RH×W×C,特征f表示为:f=(f1,f2,…fc);其中,fc表示第c个通道的特征图,H表示高度,W表示宽度,C表示通道数,C=5。
然后经过挤压操作(全局平均池化)生成第c通道特征图的全局平均zC表示为:
其中,sq表示squeeze挤压,Fsq(fc)表示对特征图fc进行挤压操作,fc(i,j)表示特征图f的第c个通道中第i行第j列的值。
然后是激励操作捕获通道的依赖关系,通过选通机制为每个通道学习特定激活控制每个通道的激励,即s=Fex(z,W)=σ(W2δ(W1z))。
其中,ex表示excitation激励,Fex(z,W)表示对全局平均池化层和全连接层进行激励操作,σ表示sigmoid激活函数,δ表示RELU激活函数。
r表示维度衰减因子;在本实施例中例如设置为16。
W1∈RC×C/r表示减小维度的全连接层,W2∈RC/r×C表示增加维度的全连接层。
最后的输出表示为: =f*s=[f1*s1, f2*s2,…, fc*sc]。
表示最终输出的特征图。
s表示sigmoid激活函数;s=(s1,s2,…,sc);sc表示第c个通道的sigmoid激活函数。
为了获得多尺度特征并降低计算复杂,本发明实施例使用了一种轻量级的通道特征金字塔模块即CFP模块,CFP模块的结构图如图6所示。
该模块结合 Inception模块与空洞卷积,用以联合提取各种大小的特征图与上下文信息。
首先,CFP模块采用1×1卷积将输入的特征图从M维降到M/K维,并对降维后的特征图划分成K个FP通道,每个通道设置不同大小的空洞率R,以获得不同感受野的特征图,从第二个通道开始,采用求和运算逐步组合特征图,然后通过分级特征融合级联所有通道,使级联后的维度与输入维度一致,最后通过 1×1 卷积激活输出。为了降低计算成本,FP通道卷积采用非对称卷积进行运算,并且每个卷积块都使用跳跃连接提高网络的鲁棒性。CFP模块在各 FP通道卷积过程视为子金字塔,每个子金字塔模块提取该通道的特征,最后级联子金字塔特征得到总体的 FP。基于特征金字塔的多尺度特征模块,在通道维度上提取多尺度特征,并输出聚合通道特征的特征图,为颅内动脉瘤的特征学习提供更多的通道信息。
CaraNet将轴向注意力与反向注意力机制结合,并将其命名为ARA注意力模块,模块ARA注意力模块的结构如图7所示。ARA注意力模块由并行的轴向注意力机制与反向注意力机制组成。最上面一行输入是来自CFP模块的多尺度特征图fi',使用轴向注意来分析显著性信息。轴向注意力机制依次从高度轴以及宽度轴计算自注意力,然后按顺序进行组合。第二行采用反向注意力来检测Si的显著性特征。反向注意力机制能很好的挖掘互补细节,并对目标区域进行精确预测。
反向注意力实现过程具体如下:Rf,c=Af·Ff,c (10)
其中,Rf,c表示注意力特征,Af反向表示注意力权重,Ff,c表示由轴向注意力机制得到的高级特征图的输出特征,f表示特征图的空间位置,c表示特征通道的索引。
i阶段中的反向注意力权重 Ai是通过1减去i+1阶段上采样预测得到的:
Ai=1-Sigmoid(sup i+1)(11)
sup i+1表示i+1阶段上采样得到的特征,Sigmoid(sup i+1)表示对特征进行激活。
将注意力机制引入到深度学习网络,能够在特征图中为包含颅内动脉瘤的区域赋予更多的权重,使模型学习更多的颅内动脉瘤特征,提升模型的检测性能。
对于深度监督网络输出的多级特征,将高级侧输出特征S3、S4、S5以及全局特征Sg上采样到与医生手动标注区域相同大小。因此,SE-CaraNet模型的整体损失Ltotal为:
其中,表示全局损失,/>表示局部损失;/>表示医生手动标注区域,/>表示全局特征上采样,/>表示网络多级输出上采样。
全局损失和局部损失/>均可以采用交并比IoU和二元交叉熵BCE损失之和L来表示,计算公式如下:/>
其中,表示加权二值交叉熵,/>表示加权IoU损失。
加权二值交叉熵为:
其中,1(·)为指示函数,γ为超参数;l∈{0,1}为标签值;表示图像中像素的预测值,/>表示(i,j)位置的像素真实值,(i,j)表示像素位置;H表示高度,W表示宽度。
Ψ表示模型的所有参数,Pr(=l|Ψ)为预测概率。
公式中每个像素将被分配一个权重,较复杂的像素对应较大的值,而简单的像素对应较小的值,并且能够根据中心像素与其周围像素的差值计算,公式为:
其中,表示图像中像素对应的权重。
Aij表示像素(i,j)周围的区域,m、n表示(i,j)周围区域Aij中的像素,表示(m,n)位置的像素真实值,/>表示中心像素(i,j)的真实值。
加权IoU损失为:
IoU损失平均每个像素值的权重,而经过加权之后,图像像素点则被赋予不同的权重。
此外,本发明还给出了全方位颅内动脉MIP图像检测方法中模型的具体训练过程。
步骤1. 准备实验数据集。
本实验数据是从某医院收集的2013年1月至2021年5月的数据,样本集共有615名受试者,每名受试者通过医学成像设备采集3D TOF-MRA 图像。
步骤2. 对数据集进行预处理,过程如下:
将所有的样本集数据进行全方位最大密度投影,并统一规范数据名称,每个样本以 10°的投影角度从3D MRA图像保存并生成MIP图像,最终得到18幅连续的全方位MIP图像作为一个样本数据。然后,将所有受试者数据按大、中、小尺寸以及非颅内动脉瘤患者进行划分,直径大于7mm的颅内动脉瘤标记为大动脉瘤,直径在3mm-7mm之间的标记为中型动脉瘤,直径小于3mm的标记为小动脉瘤,未患有颅内动脉瘤的受试者标记为正常人样本。
并所有的样本集数据分成训练集和测试集,分别用于下述模型的训练以及测试。
步骤3. 将原始MIP图像进行基于解剖先验的颅内动脉瘤区域预定位。
首先原始MIP图像利用匹配滤波器抑制颅内动脉瘤血管图像中的背景,增强血管的对比度。同时原始图像利用OTSU获得图像掩膜,将匹配滤波结果与图像掩膜相减得到轮廓灰度图,随后进行中值滤波并膨胀,二值化之后生成血管轮廓的二值图。然后,将二值化后的匹配滤波灰度图与轮廓二值图相减得到去轮廓的二值图。接着,用最大连通域检测去除血管以外的噪声像素点得到最大连通域图像,获得血管区域的中心点坐标。最后,根据原图像对应的中心点位置裁剪出颅内动脉瘤可能出现的区域,得到预定位图像。
步骤4. 将经过预定位后得到的MIP图像的训练集送入SE-CaraNet检测模型进行训练。在模型训练前,初始学习率为0.0001。模型训练时,采用RMSprop优化器加快模型参数寻优。初始训练轮数为150,当模型训练20轮Ltotal未下降,学习率降低为原来的0.9;当30次的微调后Ltotal仍未收敛,模型停止训练。保存当在验证集下最高准确率和较低损失时的模型权重。
步骤5. 将测试集送入训练好的SE-CaraNet检测模型中,得到颅内动脉瘤检测结果。对其进行可视化处理,得到可视化结果。SE-CaraNet检测模型输出颅内动脉瘤二值化图像,用amide软件同时打开原MIP图像和对应的二值化图像将其拼接,并用不同颜色标注动脉瘤图像,便于观察。
SE-CaraNet检测模型训练及测试好之后,即可用于实际MIP图像中颅内动脉瘤检测。
本发明方法能够解决现有人工判读方法易受医生主观经验影响和费时费力的问题,进而提高颅内动脉瘤检测的准确性和效率。而且,采用全方位投影的连续MIP图像检测,可以克服传统基于单一方位MIP图像容易漏检目标的缺点。在CaraNet中引入SE模块聚合通道信息,进而获得带有更多通道权重信息的深度特征,从而提高检测模型能力。
实施例2
本实施例2述及了一种全方位MIP图像颅内动脉瘤检测系统,该系统与上述实施例1述及的全方位MIP图像颅内动脉瘤检测方法基于相同发明构思。
具体的,全方位MIP图像颅内动脉瘤检测系统,包括:
图像处理模块,用于对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像;
预定位模块,基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位;
以及检测模块,用于将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果。
需要说明的是,全方位MIP图像颅内动脉瘤检测系统中,各个功能模块的功能和作用的实现过程具体详见上述实施例1中方法中对应步骤的实现过程,在此不再赘述。
实施例3
本实施例3述及了一种计算机设备,该计算机设备用于实现上述实施例1中述及的全方位MIP图像颅内动脉瘤检测方法。
具体的,该计算机设备包括存储器和一个或多个处理器。在存储器中存储有可执行代码,当处理器执行可执行代码时,用于实现上述全方位MIP图像颅内动脉瘤检测方法的步骤。
本实施例中计算机设备为任意具备数据数据处理能力的设备或装置,此处不再赘述。
实施例4
本实施例4述及了一种计算机可读存储介质,该计算机可读存储介质用于实现上述实施例1中述及的全方位MIP图像颅内动脉瘤检测方法。
具体的,本实施例4中的计算机可读存储介质,其上存储有程序,该程序被处理器执行时,用于实现上述全方位MIP图像颅内动脉瘤检测方法的步骤。
该计算机可读存储介质可以是任意具备数据处理能力的设备或装置的内部存储单元,例如硬盘或内存,也可以是任意具备数据处理能力的设备的外部存储设备,例如设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。
当然,以上说明仅仅为本发明的较佳实施例,本发明并不限于列举上述实施例,应当说明的是,任何熟悉本领域的技术人员在本说明书的教导下,所做出的所有等同替代、明显变形形式,均落在本说明书的实质范围之内,理应受到本发明的保护。

Claims (5)

1.全方位MIP图像颅内动脉瘤检测方法,其特征在于,包括如下步骤:
步骤1.对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像;
步骤2.基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位,得到预定位图像;
所述步骤2中,对每幅MIP图像均进行预定位,并对应得到一幅预定位图像;
颅内动脉瘤区域预定位的过程具体为:
步骤2.1.原始MIP图像经过匹配滤波得到匹配滤波结果,利用匹配滤波器抑制颅内动脉瘤血管图像中的背景,以增强血管的对比度;
所述步骤2.1中,匹配滤波器的内核K(x,y)表示如下:
其中,(x,y)表示内核坐标,σ表示滤波器横截面强度的范围,L代表血管的长度;
考虑到血管方向与垂直方向的夹角是任意角度θ,0≤θ≤π,以Δθ间隔,利用方向滤波器得到多个不同方向的滤波器响应,并以最大滤波器响应值作为最后输出;
设θi为第i个匹配核的血管方向,旋转坐标系中对应的点(u,v)为:
邻域范围的控制参数取值为:
因此,第i个匹配核对应的权重Ki(x,y)为:
设A表示邻域N中像素点的个数,则高斯模板均值M0为:
则去除均值后的匹配滤波函数表示为:(x,y)=Ki(x,y)-M0(6)
步骤2.2.在原始MIP图像上利用OTSU获得图像掩膜;
步骤2.3.将步骤2.1的匹配滤波结果与步骤2.2的图像掩膜相减得到轮廓灰度图;
步骤2.4.对轮廓灰度图进行中值滤波并膨胀,二值化之后生成血管的轮廓二值图;
步骤2.5.将步骤2.1的匹配滤波结果进行二值化处理得到匹配滤波灰度图,将二值化后的匹配滤波灰度图与步骤2.4的轮廓二值图相减得到去轮廓的二值图;
步骤2.6.用最大连通域检测从步骤2.5得到的去轮廓的二值图中去除血管以外的噪声像素点得到最大连通域图像,获得血管区域的中心点坐标;
步骤2.7.根据原始MIP图像,以步骤2.6得到的血管区域的中心点坐标为中心进行裁剪,裁剪出颅内动脉瘤预定位的区域,得到预定位图像;
步骤3.将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果;
所述步骤3中,SE-CaraNet网络架构包括编码器、SE模块、部分解码器PD、CFP模块、ARA注意力模块以及深度监督模块;信号在SE-CaraNet网络中的处理流程如下:
首先将预定位图像送入编码器,进行普通卷积提取特征,输出f1、f2、f3、f4、f5五层特征;同时经过SE模块,在通道维度进行特征学习;
再用部分解码器PD将高级特征f3、f4、f5进行聚合,得到全局特征图Sg
然后高级特征f3、f4、f5通过CFP模块,提取并融合多尺度特征得到输出f3'、f4'、f5',再进入ARA注意力模块,得到高级侧输出特征S3、S4、S5
反向注意力机制将特征f5和Sg下采样后进行聚合,特征f4和已经与f5聚合后的Sg进行聚合,特征f3和经过f4、f5聚合的Sg再聚合,以获取更多细节,更好的捕捉互补区域;
最后将全局特征图Sg以及高级侧输出特征S3、S4、S5通过深度监督模块,由混合损失函数指导网络训练,得到最终的颅内动脉瘤检测结果;
所述SE模块的处理流程如下:
首先定义特征f∈RH×W×C,特征f表示为:f=(f1,f2,…fc);其中,fc表示第c个通道的特征图,H表示高度,W表示宽度,C表示通道数,C=5;
然后经过挤压操作生成第c通道特征图的全局平均zC表示为:
其中,sq表示squeeze挤压,Fsq(fc)表示对特征图fc进行挤压操作,fc(i,j)表示特征图f的第c个通道中第i行第j列的值;
然后是激励操作捕获通道的依赖关系,通过选通机制为每个通道学习特定激活控制每个通道的激励,即s=Fex(z,W)=σ(W2δ(W1z));
其中,ex表示excitation激励,Fex(z,W)表示对全局平均池化层和全连接层进行激励操作,σ表示sigmoid激活函数,δ表示RELU激活函数;r表示维度衰减因子;
W1∈RC×C/r表示减小维度的全连接层,W2∈RC/r×C表示增加维度的全连接层;
最后的输出表示为:
表示最终输出的特征图;
s表示sigmoid激活函数;s=(s1,s2,…,sc);sc表示第c个通道的sigmoid激活函数。
2.根据权利要求1所述的全方位MIP图像颅内动脉瘤检测方法,其特征在于,
所述步骤1中,对3D MRA图像进行全方位最大密度投影,以α的投影角度从三维MRA图像保存并生成多幅MIP图像,将多幅MIP图像作为一个样本数据。
3.根据权利要求1所述的全方位MIP图像颅内动脉瘤检测方法,其特征在于,
所述步骤3中,对于深度监督网络输出的多级特征,将高级侧输出特征S3、S4、S5以及全局特征Sg上采样到与医生手动标注区域相同大小;
因此,SE-CaraNet模型的整体损失Ltotal为:
其中,表示全局损失,/>表示局部损失;G表示医生手动标注区域,表示全局特征上采样,/>表示网络多级输出上采样;全局损失/>和局部损失/>均采用交并比IoU和二元交叉熵BCE损失之和L来表示,计算公式如下:
其中,表示加权二值交叉熵,/>表示加权IoU损失;
加权二值交叉熵为:
其中,1(·)为指示函数,γ为超参数;l∈{0,1}为标签值;表示图像中像素的预测值,/>表示(i,j)位置的像素真实值,(i,j)表示像素位置;H表示高度,W表示宽度;
Ψ表示模型的所有参数,为预测概率;
公式中每个像素将被分配一个权重αij,公式为:
其中,Aij表示像素(i,j)周围的区域,m、n表示(i,j)周围区域Aij中的像素,表示(m,n)位置的像素真实值,/>表示中心像素(i,j)的真实值;
加权IoU损失为:
IoU损失平均每个像素值的权重,而经过加权之后,图像像素点则被赋予不同的权重。
4.一种用于实现如权利要求1至3任一项所述的全方位MIP图像颅内动脉瘤检测方法的全方位MIP图像颅内动脉瘤检测系统,其特征在于,
所述全方位MIP图像颅内动脉瘤检测系统,包括:
图像处理模块,用于对三维MRA图像进行全方位最大密度投影,获得多幅MIP图像;
预定位模块,基于匹配滤波算法对MIP图像中颅内动脉瘤区域进行预定位,得到预定位图像;
以及检测模块,用于将得到的预定位图像送入利用SE模块改进后的CaraNet的检测模型即SE-CaraNet网络中,对预定位图像进行颅内动脉瘤检测,得到颅内动脉瘤分割结果。
5.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,
实现如权利要求1至3任一项所述的全方位MIP图像颅内动脉瘤检测方法的步骤。
CN202311098829.5A 2023-08-30 2023-08-30 全方位mip图像颅内动脉瘤检测方法、系统及设备 Active CN116823833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311098829.5A CN116823833B (zh) 2023-08-30 2023-08-30 全方位mip图像颅内动脉瘤检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311098829.5A CN116823833B (zh) 2023-08-30 2023-08-30 全方位mip图像颅内动脉瘤检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116823833A CN116823833A (zh) 2023-09-29
CN116823833B true CN116823833B (zh) 2023-11-10

Family

ID=88114826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311098829.5A Active CN116823833B (zh) 2023-08-30 2023-08-30 全方位mip图像颅内动脉瘤检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116823833B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392137B (zh) * 2023-12-13 2024-02-13 山东科技大学 一种颅内动脉瘤图像检测方法、系统、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463215A (zh) * 2014-12-10 2015-03-25 东北大学 基于视网膜图像处理的微小动脉瘤发生风险预测系统
CN107392922A (zh) * 2017-07-18 2017-11-24 东南大学 基于对称性匹配滤波器组和区域生长的三维血管分割方法
CN110473168A (zh) * 2019-07-09 2019-11-19 天津大学 一种基于3d挤压-激励残差网络的肺结节自动检测系统
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技(北京)有限公司 一种基于mra的动脉瘤检测方法、系统、终端及介质
WO2022095612A1 (zh) * 2020-11-05 2022-05-12 西安交通大学 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN114565761A (zh) * 2022-02-25 2022-05-31 无锡市第二人民医院 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN115187566A (zh) * 2022-07-25 2022-10-14 杭州脉流科技有限公司 基于mra影像的颅内动脉瘤检测方法及装置
CN115331024A (zh) * 2022-08-22 2022-11-11 浙江工业大学 一种基于深度监督和逐步学习的肠道息肉检测方法
CN115953393A (zh) * 2023-03-10 2023-04-11 济南市人民医院 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493348B (zh) * 2018-10-26 2021-11-26 强联智创(北京)科技有限公司 一种颅内动脉瘤图像的形态学参数的测量方法及系统
WO2020186222A1 (en) * 2019-03-13 2020-09-17 The Board Of Trustees Of The University Of Illinois Supervised machine learning based multi-task artificial intelligence classification of retinopathies
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技(深圳)有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463215A (zh) * 2014-12-10 2015-03-25 东北大学 基于视网膜图像处理的微小动脉瘤发生风险预测系统
CN107392922A (zh) * 2017-07-18 2017-11-24 东南大学 基于对称性匹配滤波器组和区域生长的三维血管分割方法
CN110473168A (zh) * 2019-07-09 2019-11-19 天津大学 一种基于3d挤压-激励残差网络的肺结节自动检测系统
WO2022095612A1 (zh) * 2020-11-05 2022-05-12 西安交通大学 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技(北京)有限公司 一种基于mra的动脉瘤检测方法、系统、终端及介质
CN114565761A (zh) * 2022-02-25 2022-05-31 无锡市第二人民医院 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN115187566A (zh) * 2022-07-25 2022-10-14 杭州脉流科技有限公司 基于mra影像的颅内动脉瘤检测方法及装置
CN115331024A (zh) * 2022-08-22 2022-11-11 浙江工业大学 一种基于深度监督和逐步学习的肠道息肉检测方法
CN115953393A (zh) * 2023-03-10 2023-04-11 济南市人民医院 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Branched Deep Neural Network for End-to-end Classification from ECGs with Varying Dimensions;Han Duan 等;《2021 Computing in Cardiology (CinC)》;全文 *
基于多尺度匹配滤波和集成学习的眼底图像微脉瘤检测;彭英辉;张东波;沈奔;;计算机应用(第02期);全文 *
多层螺旋CT三维血管造影容积重建成像在颅内动脉瘤中的诊断价值;悦保仕, 温平贵;实用放射学杂志(第09期);全文 *

Also Published As

Publication number Publication date
CN116823833A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Lei et al. Skin lesion segmentation via generative adversarial networks with dual discriminators
Sobhaninia et al. Fetal ultrasound image segmentation for measuring biometric parameters using multi-task deep learning
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN109447065A (zh) 一种乳腺影像识别的方法及装置
CN105809175B (zh) 一种基于支持向量机算法的脑水肿分割方法及系统
CN116823833B (zh) 全方位mip图像颅内动脉瘤检测方法、系统及设备
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
Cong et al. BCS-Net: Boundary, context, and semantic for automatic COVID-19 lung infection segmentation from CT images
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Hermawati et al. Combination of aggregated channel features (ACF) detector and faster R-CNN to improve object detection performance in fetal ultrasound images
WO2023047118A1 (en) A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program
EP4118617A1 (en) Automated detection of tumors based on image processing
Nurmaini et al. An improved semantic segmentation with region proposal network for cardiac defect interpretation
Salih et al. Skin lesion segmentation using local binary convolution-deconvolution architecture
Wu et al. Evaluation of an automated intracranial aneurysm detection and rupture analysis approach using cascade detection and classification networks
Guo et al. LLTO: towards efficient lesion localization based on template occlusion strategy in intelligent diagnosis
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN116563189A (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
CN108765399B (zh) 病变部位识别装置、计算机装置及可读存储介质
Genc et al. Automated abnormality classification of chest radiographs using MobileNetV2
Zhang et al. Mammographic mass detection by bilateral analysis based on convolution neural network
Rahmatullah et al. Anatomical object detection in fetal ultrasound: computer-expert agreements
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
CN113469942A (zh) 一种ct图像病变检测方法
Xu et al. A Tuberculosis Detection Method Using Attention and Sparse R-CNN.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant