CN113240654A - 一种多维度特征融合的颅内动脉瘤检测方法 - Google Patents

一种多维度特征融合的颅内动脉瘤检测方法 Download PDF

Info

Publication number
CN113240654A
CN113240654A CN202110550156.7A CN202110550156A CN113240654A CN 113240654 A CN113240654 A CN 113240654A CN 202110550156 A CN202110550156 A CN 202110550156A CN 113240654 A CN113240654 A CN 113240654A
Authority
CN
China
Prior art keywords
attresunet
intracranial aneurysm
model
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110550156.7A
Other languages
English (en)
Inventor
黄萨
陈鹏
吴春国
初广宇
李佳明
刘威武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110550156.7A priority Critical patent/CN113240654A/zh
Publication of CN113240654A publication Critical patent/CN113240654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

本发明公开的属于颅内动脉瘤检测技术领域,具体为一种多维度特征融合的颅内动脉瘤检测方法,其包括以下步骤:S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果的影响;S3:架构并训练模型,设计H‑AttResUNet混合维度卷积神经网络模型。该多维度特征融合的颅内动脉瘤检测方法,可以有效地探测切片内特征和三维上下文特征,实现颅内动脉瘤更精准的分割。

Description

一种多维度特征融合的颅内动脉瘤检测方法
技术领域
本发明涉及颅内动脉瘤检测技术领域,具体为一种多维度特征融合的颅内 动脉瘤检测方法。
背景技术
颅内动脉瘤是一种脑血管疾病,患病率约为1%-7%,一旦颅内动脉瘤破裂将 使得致残和致死率在60%以上。因此,早期准确检测动脉瘤十分关键。颅内动脉 瘤的临床诊断以数字血管造影为金标准。但是数字血管造影不仅是操作复杂的 有创检查,而且无法充分显示动脉瘤与周围脑组织的关系。目前计算机断层血 管造影是颅内动脉瘤最常用的早期检测手段,需要临床医生依据CTA图像凭人 工经验判断是否包含病灶点。近年来,全卷积神经网络(包括二维三维卷积神 经网络)在医学图像分割任务上取得了显著效果,然而二维卷积不能充分利用 三维空间信息,而三维卷积计算成本高,GPU内存消耗大。为了解决上述问题, 本文将二维卷积与三维卷积的各自优势进行结合,提出了一种基于多维度特征融合的颅内动脉瘤检测方法。通过与不同维度方法的单独检测结果比较可以看 出,基于多维度特征融合的颅内动脉瘤检测方法在颅内动脉瘤分割任务上优于 单维度方法。本文所提出的方法有望成为医务人员影像筛查的有效辅助手段, 能够在减少影像筛查工作量的同时提高影像筛查的准确率。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较 佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化 或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省 略不能用于限制本发明的范围。
为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方 案:
一种多维度特征融合的颅内动脉瘤检测方法,其包括以下步骤:
S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测 试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;
S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取 到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果 的影响;
S3:架构并训练模型,设计H-AttResUNet混合维度卷积神经网络模型,该 模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和 信息融合模块HF组成。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S2中,首先,我们将所有的CTA图像截取;之后由放射科 专家对处理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有 效数据即为我们最终使用的数据集;之后,对有效数据进行Kmeans聚类以区分 背景区域和颅脑区域,每个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成像素, 图片的标签使用同样的变换操作。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中,首先,由2D-AttResUNet模块对患者CTA检查报告 的片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用 2D-AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告 的片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的 结果进行融合,实现颅内动脉瘤的准确分割。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中2D-AttResUNet for Intra-slice Feature Extraction:
2D-AttResUNet是具有编码器-解码器结构的CNN,其中编码器利用卷积层 与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解码器将该表征 借助卷积层,上采样和融合层逐步恢复维度;分割结果为每个像素是否为动脉 瘤的概率值,其尺寸与原图像相同。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中3D-UNet for Inter-slice Feature Extraction:
3D-DenseUNet网络与标准UNet网络类似,该网络包含分析路径和合成路径, 每个路径含有4种操作,其中分析路径包含2个3*3*3卷积,每个卷积操作后 接一个Relu,然后是一个2*2*2的最大池化;合成路径由一个2*2*2的反卷积, 两个3*3*3的卷积层和Relu操作组成;通过跳过连接将分析路径中的底层特征 与合成路径中的高层特征融合。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中Hybrid feature exploration:
将2D-AttResUNet提取的片内特征与3D-UNet提取的特征进行融合;该混 合特征,即2D网络和3D网络的层内特征和层间特征之和;然后在HF层对该混 合特征进行优化。
与现有技术相比:
1.提出了2D-AttResUNet,该模型能够探测CTA报告的片内特征,引入 Attention机制和跳过连接来提高动脉瘤的分割性能;
2.提出了可以融合片内和片间特征的3D-UNet模型,该模型较好地弥补了 2D网络忽略上下文信息和3D网络计算量大的不足,为有效利用3D上下文信息 提供了一种可行方案;
该多维度特征融合的颅内动脉瘤检测方法,可以有效地探测切片内特征和 三维上下文特征,实现颅内动脉瘤更精准的分割。
附图说明
为了更清楚地说明本发明实施方式的技术方案,下面将结合附图和详细实 施方式对本发明进行详细说明,显而易见地,下面描述中的附图仅仅是本发明 的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前 提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明用于颅内动脉瘤分割的H-AttResUNet图;
图2为本发明的2D-AttResUNet网络结构;
图3为本发明的3D-UNet网络架构。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对 本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明 还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不 违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施方 式的限制。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明 的实施方式作进一步地详细描述。
实施例
在本研究中,我们收集了2018年9月3日至2019年4月11日期间,于吉 林大学第二医院进行的127例27534项颅内动脉瘤CTA检查报告。为了增强其 可靠性,我们将选取的数据交于5名具有10年阅片经验的放射科专家进行诊断, 最后确认采集到的127例受检者检查报告中共1501项含有动脉瘤,其大小为 3mm-15mm;其中男性受检者46例,女性受检者81例;受检者的年龄为60±28 岁。我们将采集到的数据划分为三个数据集:训练集、验证集和测试集。其中, 训练集和验证集用于模型的训练阶段,测试集仅用来验证模型的性能,数据集 的具体分布如表1所示。
表1.颅内动脉瘤数据特征
Figure BDA0003075126100000051
由1名专家对数据进行标注,5名专家进行审核。若存在不同意见,标注结 果由5名专家讨论决定,以避免遗漏动脉瘤。为方便放射科专家的使用,文中, 我们采用的是开源标注工具LabelMe,可以方便的将患者所有检查切片中为动脉 瘤的区域标记出来。
Model Architecture
为了从患者大量的CTA检查报告中识别出动脉瘤,基于人工阅片的经验, 我们设计了名为H-AttResUNet的混合维度卷积神经网络模型,如图1所示。该 模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和 信息融合模块HF组成。首先,由2D-AttResUNet模块对患者CTA检查报告的 片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用2D- AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告的 片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的 结果进行融合,实现颅内动脉瘤的准确分割。
假设训练样本集为
Figure BDA0003075126100000061
其中 x为224×224×5的inputvolumes,即通过5张224×224图片的拼接 形成长方体;y为输入样本各像素的标签,取值分别为0和255,分别表示该 像素点属于背景还是动脉瘤;n为训练样本数。设函数F表示从三维体积 数据到相邻切片数据的转换,具体来说,沿z轴方向将三维体积数据进行拆 分,z轴的维度转换成二维数据的batchsize。例:X2d=F(x),则 X2d∈R5 ×224×224表示2D-AttResUNet的输入。为了方便起见,F-1表示相邻 切片到三维体积数据的逆变换。
2D-AttResUNet for Intra-slice Feature Extraction
2D-AttResUNet是具有编码器-解码器结构的CNN,如图2所示,其中编码 器利用卷积层与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解 码器将该表征借助卷积层,上采样和融合层逐步恢复维度。分割结果为每个像 素是否为动脉瘤的概率值,其尺寸与原图像相同。该网络以ResNet网络为基本 框架,为了准确的识别动脉瘤,我们引入Attention机制,以期网络能够更多 的关注局部区域信息。与UNet不同,该2D-AttResUNet修改了跳过连接,我们 将编码过程中的输出通过SE Block和Attention gate与解码器信息进行融合。 2D-AttResUNet的编码器和解码器中所有卷积均为3×3卷积,每个卷积操作后,我们加入了batch normalization和RELU操作。
2D-AttResUNet中最突出的部分在于Attention机制的引入。在构建解码器 的过程中,首先由SE block(即Channel Attention Module)提取重要的通道 信息;即:使用maxpooling和avg pooling对特征图F∈RC×H×W在空间维 度上进行压缩,得到两个
Figure BDA0003075126100000071
的通道描述,之后由只有一个隐藏 层的多层感知机MLP组成的共享网络对这两个通道描述进行计算,通过softmax 得出每个channel的权重,其计算公式如下:
Figure BDA0003075126100000072
其中σ表示sigmoid函数,w0∈RC/r*C,w1∈RC*C/r,r是还原 比。提取到通道信息后,我们使用空间注意力模块(Spatial AttentionModule) 提取重要的位置信息,为了计算spatial attention,在channel的维度上使用 最大池化和平均池化,得到两个
Figure BDA0003075126100000073
然后使用concatenation 拼接两个特征,之后使用卷积操作得到H×W平面内每个位置的权重。其计 算公式如下:
Figure BDA0003075126100000074
其中σ表示sigmoid函数,fn×n表示卷积核为n×n大小的卷积操 作。
通道注意力模块和空间注意力模块的引入,增强了模型对重要通道信息和 位置信息的学习,使得网络可以更多的关注重要特征,忽略不重要特征,提高 任务效率。
3D-UNet for Inter-slice Feature Extraction
2D-AttResUNet可以有效的探索患者CTA检测报告的片内特征,但其忽略 了检查报告之间的特征,而3D-UNet网络所需GPU计算量大,限制了网络的深 度和网络中卷积核的大小。事实上,放射科专家在进行动脉瘤诊断时,除了关 注单个报告的特征,也需要观察报告的序列特征。为了解决上述问题,我们改 进了3D-UNet使其可以融合片内和片间特征,以更好的分割颅内动脉瘤,其网 络结构如图3所示。
与标准UNet网络类似,该网络包含分析路径和合成路径,每个路径含有4 种操作,其中分析路径包含2个3×3×3卷积,每个卷积操作后接一个 rectified linear unit(Relu),然后是一个2×2×2的最大池化;合成路 径由一个2×2×2的反卷积,两个3×3×3的卷积层和Relu操作组成。通 过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。
为了保证2D网络的输出结果与3D网络的原始输入融合,两种网络特征块 的大小应该对齐。因此,2D-AttResUNet网络的特征图和输出结果作如下变换:
Figure BDA0003075126100000081
Figure BDA0003075126100000082
其中,X2d为2D-AttResUNet网络‘Bi-ResCNN9’的输出特征图,
Figure BDA0003075126100000083
为输入数据I2d对应的像素级概率。之后3D-Unet拼接原始输入I和来自 2D网络的
Figure BDA0003075126100000084
供3D-Unet网络进一步提取特征。具体来说,3D网络不仅可以 探测原始图像的特征,还可以对2D网络得到的大量上文像素的概率信息进行学 习。在上下文像素信息的指导下,减轻了直接在3D网络中寻找最优解的负担, 大大提高了3D网络的学习效率。3D-Unet网络的学习过程可以描述为:
Figure BDA0003075126100000085
其中X3d为3D-Unet网络‘Upsampling5’的输出特 征图。
Hybrid feature exploration
本节,为了更好的分割颅内动脉瘤,我们希望将2D-AttResUNet提取的片 内特征与3D-UNet提取的特征进行融合。该混合特征Z=X′2d+X′3d,即2D网 络和3D网络的层内特征和层间特征之和。然后在HF层对该混合特征进行优化,
H=fHF(Z;θHF),yH=fFHcls(H;θFHcls)
其中,H为优化后的的混合特征,y′H为HF层fHFcls(·)的像素级别 的预测概率。HF层由两个卷积层组成,其中第一层为64个3×3×3的卷积, 其后接BN和Relu操作;第二层为1×1×1的卷积,其通道数是标签的数量, 在我们的实验中为2。
为了训练该网络,我们使用加权交叉熵函数和Dice损失的加权组合作为损 失函数,其描述为:
Figure BDA0003075126100000091
其中
Figure BDA0003075126100000092
表示像素i属于c类(背景或动脉瘤)的概率,
Figure BDA0003075126100000093
表示 权重,
Figure BDA0003075126100000094
为像素i的真实标签,X为图像的groundtruth,Y为预测结果。 为了有效的训练H-AttResUNet,我们首先对2D-AttResUNet网络和 3D-DenseUNet进行优化,分别得到两个网络的最小损失
Figure BDA0003075126100000095
之后固定2D和3D网络的参数,只优化HF模块
Figure BDA0003075126100000096
最后,对整个网络进行联合调整,其损失如下:
Figure BDA0003075126100000097
其中α,β为2D模型和3D模型的 平衡权重,实验过程中我们设置α=0.5,β=0.5。
数据的筛选与预处理
在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行 筛选与预处理,以减轻无关报告和背景对分割结果的影响。首先,我们将所有 的CTA图像截取到[50,400]Hounsfield unites;之后由一名放射科专家对处 理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有效数据即 为我们最终使用的数据集,数据的标注与数据的预处理都是在该有效数据上进 行的;之后,我们对有效数据进行Kmeans聚类以区分背景区域和颅脑区域,每 个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成224×224像素,最终输入的 尺寸大小为224×224;图片的标签使用同样的变换操作。
实现细节
在本节中,我们将详细介绍实现环境和数据增强策略。该模型是基于Keras 平台搭建的,使用4个NVIDIA GeForce RTX 2080GPUs进行训练。初始学习率 为0.0001,根据方程lr=lr×(1-iterations/total_iterations)0.9进行学习率的衰 减。使用随机梯度下降法优化模型的参数,动量为0.9。为了提高模型的泛化能 力,我们对数据进行了数据增强,包含翻转、平移、缩放、旋转等操作。
为了解决颅内动脉瘤检测过程中背景与动脉瘤之间不平衡的问题,我们使 用了以下方法,首先,异常样本的采样频率高于正常样本;其次,训练过程中, 当分割结果完全由背景组成时,解码器的参数不更新。
H-AttResUNet在颅内动脉瘤数据上的消融实验
本节,我们进行综合实验来分析H-AttResUNet的有效性。值得注意的是, 2D-AttResUNet的训练时间为13小时,而3D-UNet为40小时,是2D-AttResUNet 的3倍。H-AttResUNet花费了28小时。
1)Comparison of 2D and 3D-UNet
我们对2D-UNet和3D-UNet网络的性能进行了比较,首先就参数量来说, 2D-UNet的参数为7760000,而3D-UNet的参数为11586097,是2D网络的1.5 倍。我们可以看出2D-UNet的性能要优于3D-UNet,进一步证明了2D卷积在深 度学习架构下的有效性和高效性。然而,3D卷积需要消耗大量的GPU资源,使 得网络的深度和宽度受到限制,导致3D网络的性能较弱。此外,与2D网络训 练时间为12小时相比,3D网络需要更多的训练时间,约为2D网络的3倍。
2)Effectiveness of Attention
针对我们提出的框架,我们分析了Attention机制的有效性。针对颅内动 脉瘤检测数据我们对2D-AttResUNet和2D-ResUNet使用相同的训练策略进行训 练,区别在于编码部分和解码部分之间是否包含attention机制。不包含 Attention机制的2D-ResUNet网络性能略低于2D-AttResUNet,说明在UNet网 络中加入Attention机制有助于网络收敛到更好的解决方案,可以提升病灶的 分割能力。
3)Effectiveness of Hybrid Feature Fusion
从H-AttResUNet的损失曲线可以看出,H-AttResUNet的损失开始于0.29, 这是因为我们在2D-AttResUNet的基础上对模型进行微调。之后经过混和特征 的融合学习,损失降低到0.02。H-AttResUNet可以收敛到比2D-AttResUNet更 小的损失值,进一步说明了混合特征对颅内动脉瘤分割的有效性。与 2D-AttResUNet相比,我们提出的H-AttResUNet在动脉瘤的分割上取得了不错 的分割效果,如表2所示。H-AttResUNet的分割效果比2D-AttResUNet高了0.2%, 性能的提高表明,z维度的上下文信息有助于对病灶的识别,特别是小且难以识 别的病灶。展示了我们的H-AttResUNet在测试数据集上动脉瘤分割结果的一些 示例,可以看出,大多数小目标和大对象都可以很好的分割出来。
表2 2D-AttResUNet、3D-UNet和H-AttResUNet在测试集上的分割结果
Figure BDA0003075126100000111
Figure BDA0003075126100000121
颅内动脉瘤诊断性比较
为了验证模型的性能,我们进行了诊断性研究。将27例患者的CTA检查报 告,分别由H-AttResUNet模型和放射科医生进行诊断,之后将模型的表现与放 射科医生的诊断结果进行比较。参与该项研究的一共5名放射科医生,放射科 医生在诊断阅览室单独诊断,全部使用相同的高清显示器,使用开源的LabelMe 工具对CTA检查图像进行标注,并要求医生记录诊断时间。待27例患者全部标 注完成后,我们将其与测试集的标注结果进行比较。在判断图像是否包含动脉 瘤的二元任务中,使用准确率和平均诊断时间来评估H-AttResUNet模型与临床 医生的表现。准确率表示所有测试病例的真阳性结果数除以真阳性结果数。表3 展示了H-AttResUNet和5位放射科医生标注情况。
表3.H-AttResUNet和5位放射科医生在测试集上的诊断统计
平均诊断时间(s) 准确率(%)
放射科医生1 356 92.6
放射科医生2 477 91.3
放射科医生3 456 88.9
放射科医生4 474 99.9
放射科医生5 452 94.3
H-AttresUNet 327 93.9
放射科医生平均水平 457 93.4
从表中可以看出在放射科医生单独阅片的情况下,平均诊断准确率为 93.4%。在使用H-AttReUNet模型的情况下,准确率为93.9%,较人工阅片准确 率提高了0.5%。放射科医生单独阅片的平均诊断时间为457s,每个医生的诊断 时间如表3所示,医生的诊断时间易受自身状态和诊断水平的影响,然而对于 H-AttResUNet网络来说,阅片时间仅取决于患者CTA检查报告的数量。 H-AttResUNet模型平均需要327s来处理检查报告并输出其分割结果。放射科医 生由于其自身的阅片水平不一,诊断的结果在一定程度上存在较大的差异。 H-AttResUNet模型的使用将放射科医生的诊断结果置信度提高了0.5%。
Conclusion
我们提出了一种基于多维度特征融合的H-AttResUNet颅内动脉瘤检测方 法,该方法有效的将二维片内信息和三维片间信息进行融合,提高了颅内动脉 瘤检测效果。该体系结构较好地解决了二维卷积忽略上下文信息,三维卷积计 算量大的问题。同时,H-AttResUNet模型显著提高了放射科医生诊断的准确性 和评估者的可靠性。
考虑到遗漏一个有破裂危险动脉瘤的潜在灾难性后果,设计一个可靠地自 动化检测工具是非常必要的。动脉瘤破裂对40%的患者来说是致命的,在存活下 来的患者中,有三分之二的患者会导致不可逆的神经功能障碍;因此,准确及 时的检测至关重要。除了提高检测精度帮助临床医生进行颅内动脉瘤的CTA检 查,也可以用来帮助资历较低的医生更快地发现动脉瘤,给予患者更精准的治 疗。
虽然在上文中已经参考实施方式对本发明进行了描述,然而在不脱离本发 明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。 尤其是,只要不存在结构冲突,本发明所披露的实施方式中的各项特征均可通 过任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性 的描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中 公开的特定实施方式,而是包括落入权利要求的范围内的所有技术方案。

Claims (6)

1.一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;
S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果的影响;
S3:架构并训练模型,设计H-AttResUNet混合维度卷积神经网络模型,该模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和信息融合模块HF组成。
2.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S2中,首先,我们将所有的CTA图像截取;之后由放射科专家对处理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有效数据即为我们最终使用的数据集;之后,对有效数据进行Kmeans聚类以区分背景区域和颅脑区域,每个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成像素,图片的标签使用同样的变换操作。
3.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中,首先,由2D-AttResUNet模块对患者CTA检查报告的片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用2D-AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告的片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的结果进行融合,实现颅内动脉瘤的准确分割。
4.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中2D-AttResUNet for Intra-slice Feature Extraction:
2D-AttResUNet是具有编码器-解码器结构的CNN,其中编码器利用卷积层与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解码器将该表征借助卷积层,上采样和融合层逐步恢复维度;分割结果为每个像素是否为动脉瘤的概率值,其尺寸与原图像相同。
5.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中3D-UNet for Inter-slice Feature Extraction:
3D-DenseUNet网络与标准UNet网络类似,该网络包含分析路径和合成路径,每个路径含有4种操作,其中分析路径包含2个3*3*3卷积,每个卷积操作后接一个Relu,然后是一个2*2*2的最大池化;合成路径由一个2*2*2的反卷积,两个3*3*3的卷积层和Relu操作组成;通过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。
6.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中Hybrid feature exploration:
将2D-AttResUNet提取的片内特征与3D-UNet提取的特征进行融合;该混合特征,即2D网络和3D网络的层内特征和层间特征之和;然后在HF层对该混合特征进行优化。
CN202110550156.7A 2021-05-20 2021-05-20 一种多维度特征融合的颅内动脉瘤检测方法 Pending CN113240654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550156.7A CN113240654A (zh) 2021-05-20 2021-05-20 一种多维度特征融合的颅内动脉瘤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550156.7A CN113240654A (zh) 2021-05-20 2021-05-20 一种多维度特征融合的颅内动脉瘤检测方法

Publications (1)

Publication Number Publication Date
CN113240654A true CN113240654A (zh) 2021-08-10

Family

ID=77137840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550156.7A Pending CN113240654A (zh) 2021-05-20 2021-05-20 一种多维度特征融合的颅内动脉瘤检测方法

Country Status (1)

Country Link
CN (1) CN113240654A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114271939A (zh) * 2021-11-04 2022-04-05 昆明同心医联科技有限公司 动脉瘤手术规划方法、装置、电子设备及可读存储介质
CN114831643A (zh) * 2022-07-04 2022-08-02 南京大学 一种心电信号监测装置和可穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919961A (zh) * 2019-02-22 2019-06-21 北京深睿博联科技有限责任公司 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919961A (zh) * 2019-02-22 2019-06-21 北京深睿博联科技有限责任公司 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111445478A (zh) * 2020-03-18 2020-07-24 吉林大学 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOMENG LI等: "H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation From CT Volumes", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
ZI-HAO BO等: "Toward human intervention-free clinical diagnosis of intracranial aneurysm via deep neural network", 《PATTERNS》 *
胡盼盼: "《自然语言处理从入门到实践》", 30 April 2020, 中国铁道出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114271939A (zh) * 2021-11-04 2022-04-05 昆明同心医联科技有限公司 动脉瘤手术规划方法、装置、电子设备及可读存储介质
CN114831643A (zh) * 2022-07-04 2022-08-02 南京大学 一种心电信号监测装置和可穿戴设备

Similar Documents

Publication Publication Date Title
CN110991254B (zh) 超声图像视频分类预测方法及系统
US11769237B2 (en) Multimodal medical image fusion method based on darts network
CN111696126B (zh) 一种基于多视角的多任务肝脏肿瘤图像分割方法
CN113240654A (zh) 一种多维度特征融合的颅内动脉瘤检测方法
WO2023207820A1 (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN113177943A (zh) 一种脑卒中ct影像分割方法
Rachmatullah et al. Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view
Hennessey et al. Artificial intelligence in veterinary diagnostic imaging: A literature review
Sengupta et al. An Empirical Analysis on Detection and Recognition of Intra-Cranial Hemorrhage (ICH) using 3D Computed Tomography (CT) images
CN115205306A (zh) 一种基于图卷积的医疗图像分割方法
Singh et al. Classification of first trimester ultrasound images using deep convolutional neural network
Bhat et al. Identification of intracranial hemorrhage using ResNeXt model
CN112635067A (zh) 基于深度学习的核素骨显像中骨转移瘤的诊断方法
US11842492B2 (en) Cerebral hematoma volume analysis
CN116934683A (zh) 人工智能辅助超声诊断脾创伤的方法
Zhang et al. Femoral image segmentation based on two-stage convolutional network using 3D-DMFNet and 3D-ResUnet
CN115953416A (zh) 基于深度学习的膝骨关节核磁共振图像自动分割方法
CN115147404A (zh) 一种双重特征融合mra图像的颅内动脉瘤分割方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
CN115131279A (zh) 通过深度学习模型的疾病分类
Anand et al. Automated classification of intravenous contrast enhancement phase of CT scans using residual networks
Hsu et al. A comprehensive study of age-related macular degeneration detection
US11915829B2 (en) Perihematomal edema analysis in CT images
Sreelakshmi et al. Identification and prediction of acute intracranial hemorrhage by using CNN and RNN techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210810

RJ01 Rejection of invention patent application after publication