CN113240654A - 一种多维度特征融合的颅内动脉瘤检测方法 - Google Patents
一种多维度特征融合的颅内动脉瘤检测方法 Download PDFInfo
- Publication number
- CN113240654A CN113240654A CN202110550156.7A CN202110550156A CN113240654A CN 113240654 A CN113240654 A CN 113240654A CN 202110550156 A CN202110550156 A CN 202110550156A CN 113240654 A CN113240654 A CN 113240654A
- Authority
- CN
- China
- Prior art keywords
- attresunet
- intracranial aneurysm
- model
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000008450 Intracranial aneurysm Diseases 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000007689 inspection Methods 0.000 claims abstract description 4
- 206010002329 Aneurysm Diseases 0.000 claims description 25
- 239000010410 layer Substances 0.000 claims description 24
- 238000003745 diagnosis Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 210000004556 brain Anatomy 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000011229 interlayer Substances 0.000 claims description 3
- 210000003625 skull Anatomy 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000010968 computed tomography angiography Methods 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009251 neurologic dysfunction Effects 0.000 description 1
- 208000015015 neurological dysfunction Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本发明公开的属于颅内动脉瘤检测技术领域,具体为一种多维度特征融合的颅内动脉瘤检测方法,其包括以下步骤:S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果的影响;S3:架构并训练模型,设计H‑AttResUNet混合维度卷积神经网络模型。该多维度特征融合的颅内动脉瘤检测方法,可以有效地探测切片内特征和三维上下文特征,实现颅内动脉瘤更精准的分割。
Description
技术领域
本发明涉及颅内动脉瘤检测技术领域,具体为一种多维度特征融合的颅内 动脉瘤检测方法。
背景技术
颅内动脉瘤是一种脑血管疾病,患病率约为1%-7%,一旦颅内动脉瘤破裂将 使得致残和致死率在60%以上。因此,早期准确检测动脉瘤十分关键。颅内动脉 瘤的临床诊断以数字血管造影为金标准。但是数字血管造影不仅是操作复杂的 有创检查,而且无法充分显示动脉瘤与周围脑组织的关系。目前计算机断层血 管造影是颅内动脉瘤最常用的早期检测手段,需要临床医生依据CTA图像凭人 工经验判断是否包含病灶点。近年来,全卷积神经网络(包括二维三维卷积神 经网络)在医学图像分割任务上取得了显著效果,然而二维卷积不能充分利用 三维空间信息,而三维卷积计算成本高,GPU内存消耗大。为了解决上述问题, 本文将二维卷积与三维卷积的各自优势进行结合,提出了一种基于多维度特征融合的颅内动脉瘤检测方法。通过与不同维度方法的单独检测结果比较可以看 出,基于多维度特征融合的颅内动脉瘤检测方法在颅内动脉瘤分割任务上优于 单维度方法。本文所提出的方法有望成为医务人员影像筛查的有效辅助手段, 能够在减少影像筛查工作量的同时提高影像筛查的准确率。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较 佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化 或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省 略不能用于限制本发明的范围。
为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方 案:
一种多维度特征融合的颅内动脉瘤检测方法,其包括以下步骤:
S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测 试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;
S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取 到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果 的影响;
S3:架构并训练模型,设计H-AttResUNet混合维度卷积神经网络模型,该 模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和 信息融合模块HF组成。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S2中,首先,我们将所有的CTA图像截取;之后由放射科 专家对处理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有 效数据即为我们最终使用的数据集;之后,对有效数据进行Kmeans聚类以区分 背景区域和颅脑区域,每个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成像素, 图片的标签使用同样的变换操作。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中,首先,由2D-AttResUNet模块对患者CTA检查报告 的片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用 2D-AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告 的片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的 结果进行融合,实现颅内动脉瘤的准确分割。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中2D-AttResUNet for Intra-slice Feature Extraction:
2D-AttResUNet是具有编码器-解码器结构的CNN,其中编码器利用卷积层 与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解码器将该表征 借助卷积层,上采样和融合层逐步恢复维度;分割结果为每个像素是否为动脉 瘤的概率值,其尺寸与原图像相同。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中3D-UNet for Inter-slice Feature Extraction:
3D-DenseUNet网络与标准UNet网络类似,该网络包含分析路径和合成路径, 每个路径含有4种操作,其中分析路径包含2个3*3*3卷积,每个卷积操作后 接一个Relu,然后是一个2*2*2的最大池化;合成路径由一个2*2*2的反卷积, 两个3*3*3的卷积层和Relu操作组成;通过跳过连接将分析路径中的底层特征 与合成路径中的高层特征融合。
作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方 案,其中:所述步骤S3中Hybrid feature exploration:
将2D-AttResUNet提取的片内特征与3D-UNet提取的特征进行融合;该混 合特征,即2D网络和3D网络的层内特征和层间特征之和;然后在HF层对该混 合特征进行优化。
与现有技术相比:
1.提出了2D-AttResUNet,该模型能够探测CTA报告的片内特征,引入 Attention机制和跳过连接来提高动脉瘤的分割性能;
2.提出了可以融合片内和片间特征的3D-UNet模型,该模型较好地弥补了 2D网络忽略上下文信息和3D网络计算量大的不足,为有效利用3D上下文信息 提供了一种可行方案;
该多维度特征融合的颅内动脉瘤检测方法,可以有效地探测切片内特征和 三维上下文特征,实现颅内动脉瘤更精准的分割。
附图说明
为了更清楚地说明本发明实施方式的技术方案,下面将结合附图和详细实 施方式对本发明进行详细说明,显而易见地,下面描述中的附图仅仅是本发明 的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前 提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明用于颅内动脉瘤分割的H-AttResUNet图;
图2为本发明的2D-AttResUNet网络结构;
图3为本发明的3D-UNet网络架构。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对 本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明 还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不 违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施方 式的限制。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明 的实施方式作进一步地详细描述。
实施例
在本研究中,我们收集了2018年9月3日至2019年4月11日期间,于吉 林大学第二医院进行的127例27534项颅内动脉瘤CTA检查报告。为了增强其 可靠性,我们将选取的数据交于5名具有10年阅片经验的放射科专家进行诊断, 最后确认采集到的127例受检者检查报告中共1501项含有动脉瘤,其大小为 3mm-15mm;其中男性受检者46例,女性受检者81例;受检者的年龄为60±28 岁。我们将采集到的数据划分为三个数据集:训练集、验证集和测试集。其中, 训练集和验证集用于模型的训练阶段,测试集仅用来验证模型的性能,数据集 的具体分布如表1所示。
表1.颅内动脉瘤数据特征
由1名专家对数据进行标注,5名专家进行审核。若存在不同意见,标注结 果由5名专家讨论决定,以避免遗漏动脉瘤。为方便放射科专家的使用,文中, 我们采用的是开源标注工具LabelMe,可以方便的将患者所有检查切片中为动脉 瘤的区域标记出来。
Model Architecture
为了从患者大量的CTA检查报告中识别出动脉瘤,基于人工阅片的经验, 我们设计了名为H-AttResUNet的混合维度卷积神经网络模型,如图1所示。该 模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和 信息融合模块HF组成。首先,由2D-AttResUNet模块对患者CTA检查报告的 片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用2D- AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告的 片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的 结果进行融合,实现颅内动脉瘤的准确分割。
假设训练样本集为其中 x为224×224×5的inputvolumes,即通过5张224×224图片的拼接 形成长方体;y为输入样本各像素的标签,取值分别为0和255,分别表示该 像素点属于背景还是动脉瘤;n为训练样本数。设函数F表示从三维体积 数据到相邻切片数据的转换,具体来说,沿z轴方向将三维体积数据进行拆 分,z轴的维度转换成二维数据的batchsize。例:X2d=F(x),则 X2d∈R5 ×224×224表示2D-AttResUNet的输入。为了方便起见,F-1表示相邻 切片到三维体积数据的逆变换。
2D-AttResUNet for Intra-slice Feature Extraction
2D-AttResUNet是具有编码器-解码器结构的CNN,如图2所示,其中编码 器利用卷积层与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解 码器将该表征借助卷积层,上采样和融合层逐步恢复维度。分割结果为每个像 素是否为动脉瘤的概率值,其尺寸与原图像相同。该网络以ResNet网络为基本 框架,为了准确的识别动脉瘤,我们引入Attention机制,以期网络能够更多 的关注局部区域信息。与UNet不同,该2D-AttResUNet修改了跳过连接,我们 将编码过程中的输出通过SE Block和Attention gate与解码器信息进行融合。 2D-AttResUNet的编码器和解码器中所有卷积均为3×3卷积,每个卷积操作后,我们加入了batch normalization和RELU操作。
2D-AttResUNet中最突出的部分在于Attention机制的引入。在构建解码器 的过程中,首先由SE block(即Channel Attention Module)提取重要的通道 信息;即:使用maxpooling和avg pooling对特征图F∈RC×H×W在空间维 度上进行压缩,得到两个的通道描述,之后由只有一个隐藏 层的多层感知机MLP组成的共享网络对这两个通道描述进行计算,通过softmax 得出每个channel的权重,其计算公式如下:
其中σ表示sigmoid函数,w0∈RC/r*C,w1∈RC*C/r,r是还原 比。提取到通道信息后,我们使用空间注意力模块(Spatial AttentionModule) 提取重要的位置信息,为了计算spatial attention,在channel的维度上使用 最大池化和平均池化,得到两个然后使用concatenation 拼接两个特征,之后使用卷积操作得到H×W平面内每个位置的权重。其计 算公式如下:
其中σ表示sigmoid函数,fn×n表示卷积核为n×n大小的卷积操 作。
通道注意力模块和空间注意力模块的引入,增强了模型对重要通道信息和 位置信息的学习,使得网络可以更多的关注重要特征,忽略不重要特征,提高 任务效率。
3D-UNet for Inter-slice Feature Extraction
2D-AttResUNet可以有效的探索患者CTA检测报告的片内特征,但其忽略 了检查报告之间的特征,而3D-UNet网络所需GPU计算量大,限制了网络的深 度和网络中卷积核的大小。事实上,放射科专家在进行动脉瘤诊断时,除了关 注单个报告的特征,也需要观察报告的序列特征。为了解决上述问题,我们改 进了3D-UNet使其可以融合片内和片间特征,以更好的分割颅内动脉瘤,其网 络结构如图3所示。
与标准UNet网络类似,该网络包含分析路径和合成路径,每个路径含有4 种操作,其中分析路径包含2个3×3×3卷积,每个卷积操作后接一个 rectified linear unit(Relu),然后是一个2×2×2的最大池化;合成路 径由一个2×2×2的反卷积,两个3×3×3的卷积层和Relu操作组成。通 过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。
为了保证2D网络的输出结果与3D网络的原始输入融合,两种网络特征块 的大小应该对齐。因此,2D-AttResUNet网络的特征图和输出结果作如下变换:
其中,X2d为2D-AttResUNet网络‘Bi-ResCNN9’的输出特征图,为输入数据I2d对应的像素级概率。之后3D-Unet拼接原始输入I和来自 2D网络的供3D-Unet网络进一步提取特征。具体来说,3D网络不仅可以 探测原始图像的特征,还可以对2D网络得到的大量上文像素的概率信息进行学 习。在上下文像素信息的指导下,减轻了直接在3D网络中寻找最优解的负担, 大大提高了3D网络的学习效率。3D-Unet网络的学习过程可以描述为:
Hybrid feature exploration
本节,为了更好的分割颅内动脉瘤,我们希望将2D-AttResUNet提取的片 内特征与3D-UNet提取的特征进行融合。该混合特征Z=X′2d+X′3d,即2D网 络和3D网络的层内特征和层间特征之和。然后在HF层对该混合特征进行优化,
H=fHF(Z;θHF),yH=fFHcls(H;θFHcls)
其中,H为优化后的的混合特征,y′H为HF层fHFcls(·)的像素级别 的预测概率。HF层由两个卷积层组成,其中第一层为64个3×3×3的卷积, 其后接BN和Relu操作;第二层为1×1×1的卷积,其通道数是标签的数量, 在我们的实验中为2。
为了训练该网络,我们使用加权交叉熵函数和Dice损失的加权组合作为损 失函数,其描述为:
其中表示像素i属于c类(背景或动脉瘤)的概率,表示 权重,为像素i的真实标签,X为图像的groundtruth,Y为预测结果。 为了有效的训练H-AttResUNet,我们首先对2D-AttResUNet网络和 3D-DenseUNet进行优化,分别得到两个网络的最小损失
数据的筛选与预处理
在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行 筛选与预处理,以减轻无关报告和背景对分割结果的影响。首先,我们将所有 的CTA图像截取到[50,400]Hounsfield unites;之后由一名放射科专家对处 理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有效数据即 为我们最终使用的数据集,数据的标注与数据的预处理都是在该有效数据上进 行的;之后,我们对有效数据进行Kmeans聚类以区分背景区域和颅脑区域,每 个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成224×224像素,最终输入的 尺寸大小为224×224;图片的标签使用同样的变换操作。
实现细节
在本节中,我们将详细介绍实现环境和数据增强策略。该模型是基于Keras 平台搭建的,使用4个NVIDIA GeForce RTX 2080GPUs进行训练。初始学习率 为0.0001,根据方程lr=lr×(1-iterations/total_iterations)0.9进行学习率的衰 减。使用随机梯度下降法优化模型的参数,动量为0.9。为了提高模型的泛化能 力,我们对数据进行了数据增强,包含翻转、平移、缩放、旋转等操作。
为了解决颅内动脉瘤检测过程中背景与动脉瘤之间不平衡的问题,我们使 用了以下方法,首先,异常样本的采样频率高于正常样本;其次,训练过程中, 当分割结果完全由背景组成时,解码器的参数不更新。
H-AttResUNet在颅内动脉瘤数据上的消融实验
本节,我们进行综合实验来分析H-AttResUNet的有效性。值得注意的是, 2D-AttResUNet的训练时间为13小时,而3D-UNet为40小时,是2D-AttResUNet 的3倍。H-AttResUNet花费了28小时。
1)Comparison of 2D and 3D-UNet
我们对2D-UNet和3D-UNet网络的性能进行了比较,首先就参数量来说, 2D-UNet的参数为7760000,而3D-UNet的参数为11586097,是2D网络的1.5 倍。我们可以看出2D-UNet的性能要优于3D-UNet,进一步证明了2D卷积在深 度学习架构下的有效性和高效性。然而,3D卷积需要消耗大量的GPU资源,使 得网络的深度和宽度受到限制,导致3D网络的性能较弱。此外,与2D网络训 练时间为12小时相比,3D网络需要更多的训练时间,约为2D网络的3倍。
2)Effectiveness of Attention
针对我们提出的框架,我们分析了Attention机制的有效性。针对颅内动 脉瘤检测数据我们对2D-AttResUNet和2D-ResUNet使用相同的训练策略进行训 练,区别在于编码部分和解码部分之间是否包含attention机制。不包含 Attention机制的2D-ResUNet网络性能略低于2D-AttResUNet,说明在UNet网 络中加入Attention机制有助于网络收敛到更好的解决方案,可以提升病灶的 分割能力。
3)Effectiveness of Hybrid Feature Fusion
从H-AttResUNet的损失曲线可以看出,H-AttResUNet的损失开始于0.29, 这是因为我们在2D-AttResUNet的基础上对模型进行微调。之后经过混和特征 的融合学习,损失降低到0.02。H-AttResUNet可以收敛到比2D-AttResUNet更 小的损失值,进一步说明了混合特征对颅内动脉瘤分割的有效性。与 2D-AttResUNet相比,我们提出的H-AttResUNet在动脉瘤的分割上取得了不错 的分割效果,如表2所示。H-AttResUNet的分割效果比2D-AttResUNet高了0.2%, 性能的提高表明,z维度的上下文信息有助于对病灶的识别,特别是小且难以识 别的病灶。展示了我们的H-AttResUNet在测试数据集上动脉瘤分割结果的一些 示例,可以看出,大多数小目标和大对象都可以很好的分割出来。
表2 2D-AttResUNet、3D-UNet和H-AttResUNet在测试集上的分割结果
颅内动脉瘤诊断性比较
为了验证模型的性能,我们进行了诊断性研究。将27例患者的CTA检查报 告,分别由H-AttResUNet模型和放射科医生进行诊断,之后将模型的表现与放 射科医生的诊断结果进行比较。参与该项研究的一共5名放射科医生,放射科 医生在诊断阅览室单独诊断,全部使用相同的高清显示器,使用开源的LabelMe 工具对CTA检查图像进行标注,并要求医生记录诊断时间。待27例患者全部标 注完成后,我们将其与测试集的标注结果进行比较。在判断图像是否包含动脉 瘤的二元任务中,使用准确率和平均诊断时间来评估H-AttResUNet模型与临床 医生的表现。准确率表示所有测试病例的真阳性结果数除以真阳性结果数。表3 展示了H-AttResUNet和5位放射科医生标注情况。
表3.H-AttResUNet和5位放射科医生在测试集上的诊断统计
平均诊断时间(s) | 准确率(%) | |
放射科医生1 | 356 | 92.6 |
放射科医生2 | 477 | 91.3 |
放射科医生3 | 456 | 88.9 |
放射科医生4 | 474 | 99.9 |
放射科医生5 | 452 | 94.3 |
H-AttresUNet | 327 | 93.9 |
放射科医生平均水平 | 457 | 93.4 |
从表中可以看出在放射科医生单独阅片的情况下,平均诊断准确率为 93.4%。在使用H-AttReUNet模型的情况下,准确率为93.9%,较人工阅片准确 率提高了0.5%。放射科医生单独阅片的平均诊断时间为457s,每个医生的诊断 时间如表3所示,医生的诊断时间易受自身状态和诊断水平的影响,然而对于 H-AttResUNet网络来说,阅片时间仅取决于患者CTA检查报告的数量。 H-AttResUNet模型平均需要327s来处理检查报告并输出其分割结果。放射科医 生由于其自身的阅片水平不一,诊断的结果在一定程度上存在较大的差异。 H-AttResUNet模型的使用将放射科医生的诊断结果置信度提高了0.5%。
Conclusion
我们提出了一种基于多维度特征融合的H-AttResUNet颅内动脉瘤检测方 法,该方法有效的将二维片内信息和三维片间信息进行融合,提高了颅内动脉 瘤检测效果。该体系结构较好地解决了二维卷积忽略上下文信息,三维卷积计 算量大的问题。同时,H-AttResUNet模型显著提高了放射科医生诊断的准确性 和评估者的可靠性。
考虑到遗漏一个有破裂危险动脉瘤的潜在灾难性后果,设计一个可靠地自 动化检测工具是非常必要的。动脉瘤破裂对40%的患者来说是致命的,在存活下 来的患者中,有三分之二的患者会导致不可逆的神经功能障碍;因此,准确及 时的检测至关重要。除了提高检测精度帮助临床医生进行颅内动脉瘤的CTA检 查,也可以用来帮助资历较低的医生更快地发现动脉瘤,给予患者更精准的治 疗。
虽然在上文中已经参考实施方式对本发明进行了描述,然而在不脱离本发 明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。 尤其是,只要不存在结构冲突,本发明所披露的实施方式中的各项特征均可通 过任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性 的描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中 公开的特定实施方式,而是包括落入权利要求的范围内的所有技术方案。
Claims (6)
1.一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,包括以下步骤:
S1:收集数据,将采集到的数据划分为三个数据集:训练集、验证集和测试集,训练集和验证集用于模型的训练阶段,测试集用于验证模型的性能;
S2:数据的筛选与预处理,在模型训练之前,我们需要对直接从医院获取到的CTA原始检查报告进行筛选与预处理,以减轻无关报告和背景对分割结果的影响;
S3:架构并训练模型,设计H-AttResUNet混合维度卷积神经网络模型,该模型由片内信息提取模块2D-AttResUNet,片间信息提取模块3D-DenseUNet和信息融合模块HF组成。
2.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S2中,首先,我们将所有的CTA图像截取;之后由放射科专家对处理后的图像进行筛选,去除与诊断颅内动脉瘤无关的部分,得到的有效数据即为我们最终使用的数据集;之后,对有效数据进行Kmeans聚类以区分背景区域和颅脑区域,每个样本围绕颅骨进行裁剪,并将颅脑区域裁剪成像素,图片的标签使用同样的变换操作。
3.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中,首先,由2D-AttResUNet模块对患者CTA检查报告的片内信息进行学习,得到动脉瘤的粗轮廓;之后3D-DenseUNet利用2D-AttResUNet得到的感兴趣区域和3D原始输入一起,对患者的CTA检查报告的片间信息进行学习;最后,由HF模块将2D-AttResUNet和3D-DenseUNet的结果进行融合,实现颅内动脉瘤的准确分割。
4.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中2D-AttResUNet for Intra-slice Feature Extraction:
2D-AttResUNet是具有编码器-解码器结构的CNN,其中编码器利用卷积层与下采样层将特征图尺寸缩小,使其成为更低维的表征,然后解码器将该表征借助卷积层,上采样和融合层逐步恢复维度;分割结果为每个像素是否为动脉瘤的概率值,其尺寸与原图像相同。
5.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中3D-UNet for Inter-slice Feature Extraction:
3D-DenseUNet网络与标准UNet网络类似,该网络包含分析路径和合成路径,每个路径含有4种操作,其中分析路径包含2个3*3*3卷积,每个卷积操作后接一个Relu,然后是一个2*2*2的最大池化;合成路径由一个2*2*2的反卷积,两个3*3*3的卷积层和Relu操作组成;通过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。
6.根据权利要求1所述的一种多维度特征融合的颅内动脉瘤检测方法,其特征在于,所述步骤S3中Hybrid feature exploration:
将2D-AttResUNet提取的片内特征与3D-UNet提取的特征进行融合;该混合特征,即2D网络和3D网络的层内特征和层间特征之和;然后在HF层对该混合特征进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550156.7A CN113240654A (zh) | 2021-05-20 | 2021-05-20 | 一种多维度特征融合的颅内动脉瘤检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110550156.7A CN113240654A (zh) | 2021-05-20 | 2021-05-20 | 一种多维度特征融合的颅内动脉瘤检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113240654A true CN113240654A (zh) | 2021-08-10 |
Family
ID=77137840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110550156.7A Pending CN113240654A (zh) | 2021-05-20 | 2021-05-20 | 一种多维度特征融合的颅内动脉瘤检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240654A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114271939A (zh) * | 2021-11-04 | 2022-04-05 | 昆明同心医联科技有限公司 | 动脉瘤手术规划方法、装置、电子设备及可读存储介质 |
CN114831643A (zh) * | 2022-07-04 | 2022-08-02 | 南京大学 | 一种心电信号监测装置和可穿戴设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919961A (zh) * | 2019-02-22 | 2019-06-21 | 北京深睿博联科技有限责任公司 | 一种用于颅内cta图像中动脉瘤区域的处理方法及装置 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111445478A (zh) * | 2020-03-18 | 2020-07-24 | 吉林大学 | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 |
-
2021
- 2021-05-20 CN CN202110550156.7A patent/CN113240654A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919961A (zh) * | 2019-02-22 | 2019-06-21 | 北京深睿博联科技有限责任公司 | 一种用于颅内cta图像中动脉瘤区域的处理方法及装置 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111445478A (zh) * | 2020-03-18 | 2020-07-24 | 吉林大学 | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 |
Non-Patent Citations (3)
Title |
---|
XIAOMENG LI等: "H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation From CT Volumes", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
ZI-HAO BO等: "Toward human intervention-free clinical diagnosis of intracranial aneurysm via deep neural network", 《PATTERNS》 * |
胡盼盼: "《自然语言处理从入门到实践》", 30 April 2020, 中国铁道出版社 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114271939A (zh) * | 2021-11-04 | 2022-04-05 | 昆明同心医联科技有限公司 | 动脉瘤手术规划方法、装置、电子设备及可读存储介质 |
CN114831643A (zh) * | 2022-07-04 | 2022-08-02 | 南京大学 | 一种心电信号监测装置和可穿戴设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
US11769237B2 (en) | Multimodal medical image fusion method based on darts network | |
CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
CN113240654A (zh) | 一种多维度特征融合的颅内动脉瘤检测方法 | |
WO2023207820A1 (zh) | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 | |
CN113177943A (zh) | 一种脑卒中ct影像分割方法 | |
Rachmatullah et al. | Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view | |
Hennessey et al. | Artificial intelligence in veterinary diagnostic imaging: A literature review | |
Sengupta et al. | An Empirical Analysis on Detection and Recognition of Intra-Cranial Hemorrhage (ICH) using 3D Computed Tomography (CT) images | |
CN115205306A (zh) | 一种基于图卷积的医疗图像分割方法 | |
Singh et al. | Classification of first trimester ultrasound images using deep convolutional neural network | |
Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
CN112635067A (zh) | 基于深度学习的核素骨显像中骨转移瘤的诊断方法 | |
US11842492B2 (en) | Cerebral hematoma volume analysis | |
CN116934683A (zh) | 人工智能辅助超声诊断脾创伤的方法 | |
Zhang et al. | Femoral image segmentation based on two-stage convolutional network using 3D-DMFNet and 3D-ResUnet | |
CN115953416A (zh) | 基于深度学习的膝骨关节核磁共振图像自动分割方法 | |
CN115147404A (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN114926396A (zh) | 一种精神障碍类磁共振图像初步筛查模型构建方法 | |
CN115131279A (zh) | 通过深度学习模型的疾病分类 | |
Anand et al. | Automated classification of intravenous contrast enhancement phase of CT scans using residual networks | |
Hsu et al. | A comprehensive study of age-related macular degeneration detection | |
US11915829B2 (en) | Perihematomal edema analysis in CT images | |
Sreelakshmi et al. | Identification and prediction of acute intracranial hemorrhage by using CNN and RNN techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |
|
RJ01 | Rejection of invention patent application after publication |