CN115953393A - 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 - Google Patents
基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 Download PDFInfo
- Publication number
- CN115953393A CN115953393A CN202310224092.0A CN202310224092A CN115953393A CN 115953393 A CN115953393 A CN 115953393A CN 202310224092 A CN202310224092 A CN 202310224092A CN 115953393 A CN115953393 A CN 115953393A
- Authority
- CN
- China
- Prior art keywords
- aneurysm
- training
- network
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000008450 Intracranial aneurysm Diseases 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 206010002329 Aneurysm Diseases 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 59
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 230000002490 cerebral effect Effects 0.000 claims abstract description 3
- 230000002792 vascular Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 33
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000002790 cross-validation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000007917 intracranial administration Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 2
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 210000002551 anterior cerebral artery Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 210000001841 basilar artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004004 carotid artery internal Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003657 middle cerebral artery Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 210000003388 posterior cerebral artery Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种基于多任务学习的颅内动脉瘤检测系统、设备及存储介质，包括：获取模块，获取影像数据；预处理模块，对所获取的数据进行预处理提取MRA影像中的脑血管树和建立颅内动脉瘤检测数据集；预训练模块，采用提取血管信息后含有颅内动脉瘤的数据作为训练集预训练预先建立的动脉瘤预检测网络；网络模型建立模块，设计三维卷积神经网络模型；处理模块，利用所述动脉瘤预检测网络在预测时融合模型中分割子网与分类子网的输出结果。通过构建三维卷积神经网络模型分析MRA影像并提取反映颅内动脉瘤的重要信息，借助分割特征辅助分类分支网络进一步降低模型的假阳性，该检测系统具有较高的灵敏度与分类准确率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于多任务学习的颅内动脉瘤检测系统、设备及存储介质。
背景技术
当前，针对脑血管疾病放射科医师需要从影像数据中凭借经验诊断动脉瘤， MRA作为一种无创伤性的检查方法，现已广泛应用于脑血管病的筛查中，但由于其有时可能无法清晰地显示出微小动脉瘤，容易造成医生漏诊。因此，对医生而言，从MRA影像中直接找到动脉瘤的这项工作是费时费力的，并且由于人为主观性，也难以保证检测精度。如今，在计算机辅助诊断的支持下，高性能的人工智能模型为颅内动脉瘤的检测任务提供了动力，包括以手动提取生物学特性的传统机器学习算法和自动提取高层次特征的深度学习算法，一定程度上能够帮助医生提高工作效率。
然而，在采用人工智能模型检测动脉瘤的过程中，由于每个动脉瘤的血流动力学特性导致不同动脉瘤之间的图像强度存在较大差异，动脉瘤本身的大小和形状同样存在差异，而像强度、大小和形状的差异变化通常会影响计算机辅助检测的性能，导致检测动脉瘤的灵敏度无法达到预期效果，并且假阳性高。
发明内容
有鉴于此，本申请提供了一种基于多任务学习的颅内动脉瘤检测系统、设备及存储介质，以利于解决现有技术中的问题。
第一方面，本申请实施例提供了一种基于多任务学习的颅内动脉瘤检测系统，其特征在于，包括：
获取模块，用于获取含有颅内动脉瘤的3D TOF-MRA影像数据及其对应的动脉瘤掩膜信息和未含有颅内动脉瘤的3D TOF-MRA影像数据；
预处理模块，用于对所获取的数据进行预处理提取MRA影像中的脑血管树，然后对预处理之后的数据进行裁块处理建立颅内动脉瘤检测数据集；
预训练模块，用于采用提取血管信息后含有颅内动脉瘤的数据作为训练集预训练预先建立的动脉瘤预检测网络；
网络模型建立模块，用于设计三维卷积神经网络模型Seg-Cls net，所述Seg-Clsnet由分割子网和分类子网联合组成，其中在分类子网中融入经分割子网输出的特征，利用分割信息辅助分类子网训练，加强分类子网准确识别动脉瘤的能力；
处理模块，用于利用所述动脉瘤预检测网络在预测时融合Seg-Cls net中分割子网与分类子网的输出结果，获得最终颅内动脉瘤的检测结果进行可视化展示。
在一种可能的实现方式中，所述预处理模块，包括：
校正单元，用于采用N4场强校正使图像的灰度分布均衡；
重采样单元，用于将三个维度的每个体素大小统一重采样为1×1×1mm3；
强度归一化单元，用于采用强度归一化操作将图像块像素值缩放至[0,1]，便于网络处理与分析。
在一种可能的实现方式中，所述预处理模块提取MRA影像中的脑血管树包括：
图像增强单元，用于采用Jerman滤波增强图像中的血管信号；
图像二值化单元，用于采用0.5的阈值将灰度图像转换为二值图像，再利用骨架细化算法提取血管骨架；
提取单元，用于选取各连通区域中的中心骨架点做为种子点，采用三维区域生长算法提取图像中的血管；
三维膨胀操作单元，用于对提取的血管以1×1×1的球形结构元素进行三维膨胀操作，保证每个动脉瘤区域尽可能包含于所提取的血管树当中；
第一裁剪单元，用于针对包含动脉瘤的3D TOF-MRA影像数据，在x，y，z三个维度上以动脉瘤的质心位置为中心裁取128×128×128大小的数据块，并保存为数组格式；
第二裁剪单元，用于针对未包含动脉瘤的3D TOF-MRA影像数据，获取当前数据的尺寸大小得到图像的中心坐标，在x，y，z三个维度上以该点为中心裁取128×128×128大小的数据块，并保存为数组格式。
在一种可能的实现方式中，所述预训练模块，包括：训练数据集选用裁块处理后包含动脉瘤区域的图像块，预检测网络采用Unet++的网络架构，进行五折交叉验证，并基于深度监督策略进行训练，以提高隐藏层的学习能力，强制中间层学习判别特征，实现网络的快速收敛和正则化。
在一种可能的实现方式中，对训练和验证数据集进行动态增强，包括以动脉瘤质心为中心随机沿x轴、y轴与z轴平移10~50像素，对每个样本进行90度、 180度、270度的随机旋转，以0.5概率将样本进行z轴的随机翻转，以及以[0.9,1.1]的比例随机缩放动脉瘤的大小。
在一种可能的实现方式中，在训练Unet++神经网络以提取与颅内动脉瘤相关的特征时，采用基于Dice损失函数与交叉熵损失函数的复合函数
提升网络对动脉瘤信息的关注度，表达式为：
其中，
为预测的分割掩膜，
为真实标签，
为复合损失函数中Dice损失函数的权重，
为交叉熵损失函数的权重，且
=
=1。
在一种可能的实现方式中，所述网络模型建立模块构建三维卷积神经网络模型Seg-Cls net的步骤如下：
搭建多路径多尺度的分类网络Cls net，为平衡正负样本并提升网络对困难样本的关注度，采用Focal损失函数
，根据正负样本的比例以及对比实验确定
中的权重因子
与
，表达式为：
构建Seg-Cls net，融合Unet++与Cls net，构建单输入多输出的多任务学习神经网络模型，在Cls net模型中拼接分割网络的输出特征，利用该信息辅助Cls net训练，为进行多任务学习网络的训练，损失函数
为两个子网的损失函数的权重之和，表达式为：
，其中，
表示权重值，且
；
基于迁移学习思想训练Seg-Cls net，加载分割网络最优预训练权重，并冻结该网络来加快网络训练。
在一种可能的实现方式中，处理模块采用滑窗取块的处理方法将待检测的图像分为多个图像块，对分割子网中输出三中所有的patch块的预测结果进行拼接，重叠部分保留预测结果的最大值，得到待检测数据中的候选动脉瘤分割结果，保存候选动脉瘤区域的质心坐标；
依据保存的质心坐标裁取候选动脉瘤的数据块，再次利用Seg-Cls net预测，并由分类子网得出的预测结果绘制五折交叉验证下的FROC曲线；
最后根据预测值排序顺序，在源图像上用框体先后标记所检测出的候选动脉瘤，并给出其为真正的动脉瘤的排序序号，概率最大则序号记为1。
第二方面，本申请实施例提供了一种设备，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述设备运行第一方面任一可能实现方式所述的系统。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备运行第一方面任一可能实现方式所述的系统
在本申请实施例中，通过构建的三维卷积神经网络模型分析MRA影像并提取反映颅内动脉瘤的重要信息，借助分割特征辅助分类分支网络进一步降低模型的假阳性，该检测系统具有较高的灵敏度与分类准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种基于多任务学习的颅内动脉瘤检测系统的示意图；
图2为本申请实施例提供的一种三维卷积神经网络Seg-Cls net结构示意图；
图3为本申请实施例提供的人工诊断结果和颅内动脉瘤检测模型预测结果的对比示意图；
图4为本申请实施例提供的内部、外部测试集在分类子网中添加分割信息与不添加分割信息的五折交叉验证下平均FROC曲线对比示意图；
图5为本申请实施例提供的一种设备的示意图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
需要指出的是，本申请实施例涉及的家用设备控制方法的具体内容可以参见上述实施例的描述，为了表述简洁，在此不再赘述。
图1为本申请实施例提供的一种基于多任务学习的颅内动脉瘤检测系统的示意图，参见图1，本申请实施例中的基于多任务学习的颅内动脉瘤检测系统包括：获取模块101、预处理模块102、预训练模块103、网络模型建立模块104和处理模块105。
具体地，获取模块101，用于获取含有颅内动脉瘤的3D TOF-MRA影像数据及其对应的动脉瘤掩膜信息和未含有颅内动脉瘤的3D TOF-MRA影像数据。
本实施例中，数据来源于三个机构，共计461例数据。包括348例训练集（200例患者数据，148例无病灶数据）和113例测试集。训练集所纳入的患病数据与未患病数据来源于两个公开数据集，附带数据标签，外部验证集数据标签则由放射科医生利用ITK-SNAP软件根据公开数据集标注标准对病灶区域进行勾画，所获数据中存在多发动脉瘤，动脉瘤的生长位置分布于颈内动脉、大脑前动脉、大脑中动脉、大脑后动脉、基底动脉以及前交通动脉等血管分段。
预处理模块102，用于对所获取的数据进行预处理提取MRA影像中的脑血管树，然后对预处理之后的数据进行裁块处理建立颅内动脉瘤检测数据集。
本实施例中，所述预处理模块，包括：校正单元，用于采用N4场强校正使图像的灰度分布均衡。重采样单元，用于将三个维度的每个体素大小统一重采样为1×1×1mm3。强度归一化单元，用于采用强度归一化操作将图像块像素值缩放至[0,1]，便于网络处理与分析。
所述预处理模块提取MRA影像中的脑血管树包括：
图像增强单元，用于采用Jerman滤波增强图像中的血管信号；
图像二值化单元，用于采用0.5的阈值将灰度图像转换为二值图像，再利用骨架细化算法提取血管骨架；
提取单元，用于选取各连通区域中的中心骨架点做为种子点，采用三维区域生长算法提取图像中的血管；
三维膨胀操作单元，用于对提取的血管以1×1×1的球形结构元素进行三维膨胀操作，保证每个动脉瘤区域尽可能包含于所提取的血管树当中；
第一裁剪单元，用于针对包含动脉瘤的3D TOF-MRA影像数据，在x，y，z三个维度上以动脉瘤的质心位置为中心裁取128×128×128大小的数据块，并保存为数组格式。建立颅内动脉瘤检测正类数据集。相对于提取出的数据块而言，所有数据中动脉瘤的质心坐标为(64,64,64)。
第二裁剪单元，用于针对未包含动脉瘤的3D TOF-MRA影像数据，获取当前数据的尺寸大小得到图像的中心坐标，在x，y，z三个维度上以该点为中心裁取128×128×128大小的数据块，并保存为数组格式。
预训练模块103，用于采用提取血管信息后含有颅内动脉瘤的数据作为训练集预训练预先建立的动脉瘤预检测网络。
训练数据集选用裁块处理后包含动脉瘤区域的图像块，预检测网络采用Unet++的网络架构，进行五折交叉验证，并基于深度监督策略进行训练，以提高隐藏层的学习能力，强制中间层学习判别特征，实现网络的快速收敛和正则化。
对训练和验证数据集进行动态增强，包括以动脉瘤质心为中心随机沿x轴、y轴与z轴平移10~50像素，对每个样本进行90度、 180度、270度的随机旋转，以0.5概率将样本进行z轴的随机翻转，以及以[0.9,1.1]的比例随机缩放动脉瘤的大小。
对Unet++进行预训练前，设置批处理样本数2，初始学习率为0.0001，各卷积核加入l2权重正则化，系数为0.0001。模型训练时，对数据进行了动态数据增强，包括翻转、平移、缩放以及旋转等操作，以提高样本的丰富性，提升模型的泛化能力，模型采用Adam优化器缓解梯度震荡的问题。
采用基于Dice损失函数与交叉熵损失函数的复合函数
提升网络对动脉瘤信息的关注度，表达式为：
其中，
为预测的分割掩膜，
为真实标签，
为复合损失函数中Dice损失函数的权重，
为交叉熵损失函数的权重，且
=
=1。
初始训练轮数为100，当模型训练10轮
未下降，学习率降低为原来的0.9；当20次的微调后
仍未收敛，模型停止训练。保存当前在验证集下最低损失时的模型权重。
网络模型建立模块104，用于设计三维卷积神经网络模型Seg-Cls net，所述Seg-Cls net由分割子网和分类子网联合组成，其中在分类子网中融入经分割子网输出的特征，利用分割信息辅助分类子网训练，加强分类子网准确识别动脉瘤的能力。
构建三维卷积神经网络模型Seg-Cls net的步骤如下：
搭建多路径多尺度的分类网络Cls net。为平衡正负样本并提升网络对困难样本的关注度，采用Focal损失函数
，根据正负样本的比例以及对比实验确定
中的权重因子
与
，表达式为：
其中，
。
构建Seg-Cls net。融合Unet++与Cls net，构建单输入多输出的多任务学习神经网络模型，在Cls net模型中拼接分割网络的输出特征，利用该信息辅助Cls net训练，为进行多任务学习网络的训练，损失函数
为两个子网的损失函数的权重之和，表达式为：
其中，
表示权重值，且
。
基于迁移学习思想训练Seg-Cls net。加载分割网络最优预训练权重，并冻结该网络来加快网络训练，最小化负类样本对颅内动脉瘤预检测性能所造成的影响。
图2(a)是本发明实施例的三维卷积神经网络Seg-Cls net结构示意图。在本实施例中，分割子网由Unet++四层网络结构构成，通过引入不同深度的Unet网络层，并结合密集连接的思想，提取不同大小对象的特征以精确定位目标位置，分类子网设计为输入数据尺寸为643、323以及163的多路径网络，不同分支的多个感受野提取多尺度3D特征。此外，如图2(b)所示，Incepiton模块有4个带有级联3D卷积层的分支，利用Inception模块从裁剪的3D数据块中分别提取融合不同分支上合适感受野的尺寸以及不同卷积通道的权重参数，提取有利于最终决策的关键信息。如图2(d)所示，在常规的卷积模块中嵌入CBAM注意力机制，并添加残差路径，旨在从通道和空间上加强不同尺度权重对减少降阳性任务的影响，加强模型在候选动脉瘤全局和局部特征之间的平衡，增强网络训练过程中梯度的流动。
在模型训练前，设置批处理样本数8，初始学习率为0.0001。模型训练时，采用RMSprop优化器加快模型参数寻优。
初始训练轮数为150，当模型训练20轮
未下降，学习率降低为原来的0.9；当30次的微调后
仍未收敛，模型停止训练。保存当前在验证集下最高准确率和较低损失时的模型权重。
处理模块105，用于利用所述动脉瘤预检测网络在预测时融合Seg-Cls net中分割子网与分类子网的输出结果，获得最终颅内动脉瘤的检测结果进行可视化展示。
在网络预测过程中，采用滑窗取块的处理方法将待检测的图像分为多个图像块，对分割子网中输出三中所有的patch块的预测结果进行拼接，重叠部分保留预测结果的最大值，得到待检测数据中的候选动脉瘤分割结果，保存候选动脉瘤区域的质心坐标。
依据保存的质心坐标裁取候选动脉瘤的数据块，再次利用Seg-Cls net预测，并由分类子网得出的预测结果绘制五折交叉验证下的FROC曲线。保证较高灵敏度的同时，降低检测颅内动脉瘤的假阳性，提高检测精度。
最后根据预测值排序顺序，在源图像上用框体先后标记所检测出的候选动脉瘤，并给出其为真正的动脉瘤的排序序号，概率最大则序号记为1，以此类推。
图3为人工诊断结果和本发明实施例诊断动脉瘤的对比图。其中，图3(a)为人工标注的动脉瘤诊断金标准，图3(b)为依得到的颅内动脉瘤的检测结果，图中白色高亮区域为源图像叠加分割子网输出的预测结果，序号‘1’标记在候选动脉瘤左上方，为分类子网依据预测概率
排序得出，表明经模型预测并用白色球体标记出的候选动脉瘤在所有的候选动脉瘤中为动脉瘤的可能性最大。
在模型评估阶段，本发明实施例基于同一分割子网预测结果的基础上，分别训练分类子网添加分割辅助信息与不添加分割辅助信息的模型，此时分割子网固定训练损失函数为基于Dice损失函数与交叉熵损失函数的复合函数，分类子网固定训练损失函数为focal loss
。实验结果如表1所示。
表1 分类子网是否添加分割辅助信息对最终预测结果的影响
由表1可知，当分类子网分支融合从分割子网（以下简称为With Seg）实时传递的输出特征后，检测性能对比未添加分割辅助信息（以下简称为Without Seg）明显提高了，总体性能表现对比如图4所示，该图为三个测试集下WithSeg与Without Seg五折交叉验证下的平均FROC曲线，灰色区域为95%置信区间。当每例颅内动脉瘤假阳个数为0.125，0.25，0.5，1，2，4，8时，With Seg对应的平均检测灵敏度总是高于Without Seg。在模型降低假阳性方面，又可知在CHUV测试集中，With Seg中FP/scan为0.125时，灵敏度为33.6%，而Without Seg中当灵敏度为33.6%时，FP/scan为2，即With Seg在保证较高的灵敏度的同时，降低了假阳的数量。在实际过程中该模型具有更高的检测性能和应用价值，能够有效辅助临床医生进行颅内动脉瘤的检测。
综上所述，本申请实施例通过一种基于多任务学习思想的三维卷积神经网络自动提取颅内动脉瘤MRA成像中的相关特征，以实现精准检测动脉瘤的目的；相较于基于传统检测的方法而言，本方法无需手动获取形态学特征，流程简单；相较于基于分割模型定位动脉瘤或仅依赖分类模型预测结果得出疑似动脉瘤概率的方法而言，本方法通过将分割模型与分类模型联合学习，使颅内动脉瘤的检测灵敏度更高，假阳性更低。
参见图5，为本申请实施例提供的一种设备的示意图。如图5所示，该设备200可以包括：处理器201、存储器202及通信单元203。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的设备结构并不构成对本申请实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，通信单元203，用于建立通信信道，从而使设备可以与用户终端进行通信。
处理器201，为设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器202内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行设备的各种功能和/或处理数据。所述处理器可以由集成电路(integratedcircuit，IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器201可以仅包括中央处理器(central processingunit，CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
存储器202，用于存储处理器201的执行指令，存储器202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
当存储器202中的执行指令由处理器201执行时，使得设备200能够执行上述方法实施例中的部分或全部步骤。
与上述实施例相对应，本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，其中，在程序运行时可控制计算机可读存储介质所在设备执行上述方法实施例中的部分或全部步骤。具体实现中，该计算机可读存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：randomaccess memory，简称：RAM）等。
与上述实施例相对应，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包含可执行指令，当可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a, b, c, a-b,a-c, b-c,或a-b-c，其中a, b, c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于多任务学习的颅内动脉瘤检测系统，其特征在于，包括：
获取模块，用于获取含有颅内动脉瘤的3D TOF-MRA影像数据及其对应的动脉瘤掩膜信息和未含有颅内动脉瘤的3D TOF-MRA影像数据；
预处理模块，用于对所获取的数据进行预处理提取MRA影像中的脑血管树，然后对预处理之后的数据进行裁块处理建立颅内动脉瘤检测数据集；
预训练模块，用于采用提取血管信息后含有颅内动脉瘤的数据作为训练集预训练预先建立的动脉瘤预检测网络；
网络模型建立模块，用于设计三维卷积神经网络模型Seg-Cls net，所述Seg-Cls net由分割子网和分类子网联合组成，其中在分类子网中融入经分割子网输出的特征，利用分割信息辅助分类子网训练，加强分类子网准确识别动脉瘤的能力；
处理模块，用于利用所述动脉瘤预检测网络在预测时融合Seg-Cls net中分割子网与分类子网的输出结果，获得最终颅内动脉瘤的检测结果进行可视化展示。
2.根据权利要求1所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，所述预处理模块，包括：
校正单元，用于采用N4场强校正使图像的灰度分布均衡；
重采样单元，用于将三个维度的每个体素大小统一重采样为1×1×1mm3；
强度归一化单元，用于采用强度归一化操作将图像块像素值缩放至[0,1]，便于网络处理与分析。
3.根据权利要求2所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，所述预处理模块提取MRA影像中的脑血管树包括：
图像增强单元，用于采用Jerman滤波增强图像中的血管信号；
图像二值化单元，用于采用0.5的阈值将灰度图像转换为二值图像，再利用骨架细化算法提取血管骨架；
提取单元，用于选取各连通区域中的中心骨架点做为种子点，采用三维区域生长算法提取图像中的血管；
三维膨胀操作单元，用于对提取的血管以1×1×1的球形结构元素进行三维膨胀操作，保证每个动脉瘤区域尽可能包含于所提取的血管树当中；
第一裁剪单元，用于针对包含动脉瘤的3D TOF-MRA影像数据，在x，y，z三个维度上以动脉瘤的质心位置为中心裁取128×128×128大小的数据块，并保存为数组格式；
第二裁剪单元，用于针对未包含动脉瘤的3D TOF-MRA影像数据，获取当前数据的尺寸大小得到图像的中心坐标，在x，y，z三个维度上以该点为中心裁取128×128×128大小的数据块，并保存为数组格式。
4.根据权利要求1所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，所述预训练模块，包括：训练数据集选用裁块处理后包含动脉瘤区域的图像块，预检测网络采用Unet++的网络架构，进行五折交叉验证，并基于深度监督策略进行训练，以提高隐藏层的学习能力，强制中间层学习判别特征，实现网络的快速收敛和正则化。
5.根据权利要求4所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，对训练和验证数据集进行动态增强，包括以动脉瘤质心为中心随机沿x轴、y轴与z轴平移10~50像素，对每个样本进行90度、 180度、270度的随机旋转，以0.5概率将样本进行z轴的随机翻转，以及以[0.9,1.1]的比例随机缩放动脉瘤的大小。
6.根据权利要求5所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，在训练Unet++神经网络以提取与颅内动脉瘤相关的特征时，采用基于Dice损失函数与交叉熵损失函数的复合函数
提升网络对动脉瘤信息的关注度，表达式为：
其中，
为预测的分割掩膜，
为真实标签，
为复合损失函数中Dice损失函数的权重，
为交叉熵损失函数的权重，且
=
=1。
7.根据权利要求1所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，所述网络模型建立模块构建三维卷积神经网络模型Seg-Cls net的步骤如下：
搭建多路径多尺度的分类网络Cls net，为平衡正负样本并提升网络对困难样本的关注度，采用Focal损失函数
，根据正负样本的比例以及对比实验确定
中的权重因子
与
，表达式为：
构建Seg-Cls net，融合Unet++与Cls net，构建单输入多输出的多任务学习神经网络模型，在Cls net模型中拼接分割网络的输出特征，利用该信息辅助Cls net训练，为进行多任务学习网络的训练，损失函数
为两个子网的损失函数的权重之和，表达式为：
，其中，
表示权重值，且
；
基于迁移学习思想训练Seg-Cls net，加载分割网络最优预训练权重，并冻结该网络来加快网络训练。
8.根据权利要求1-6任一项所述的基于多任务学习的颅内动脉瘤检测系统，其特征在于，处理模块采用滑窗取块的处理方法将待检测的图像分为多个图像块，对分割子网中输出三中所有的patch块的预测结果进行拼接，重叠部分保留预测结果的最大值，得到待检测数据中的候选动脉瘤分割结果，保存候选动脉瘤区域的质心坐标；
依据保存的质心坐标裁取候选动脉瘤的数据块，再次利用Seg-Cls net预测，并由分类子网得出的预测结果绘制五折交叉验证下的FROC曲线；
最后根据预测值排序顺序，在源图像上用框体先后标记所检测出的候选动脉瘤，并给出其为真正的动脉瘤的排序序号，概率最大则序号记为1。
9.一种设备，其特征在于，包括：
处理器；
存储器；
以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述设备运行权利要求1至8中任意一项所述的系统。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备运行权利要求1至8中任意一项所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310224092.0A CN115953393B (zh) | 2023-03-10 | 2023-03-10 | 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310224092.0A CN115953393B (zh) | 2023-03-10 | 2023-03-10 | 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953393A true CN115953393A (zh) | 2023-04-11 |
| CN115953393B CN115953393B (zh) | 2023-05-16 |
Family
ID=85891197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310224092.0A Active CN115953393B (zh) | 2023-03-10 | 2023-03-10 | 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953393B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823833A (zh) * | 2023-08-30 | 2023-09-29 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、系统及设备 |
| CN117392137A (zh) * | 2023-12-13 | 2024-01-12 | 山东科技大学 | 一种颅内动脉瘤图像检测方法、系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201446A1 (en) * | 2009-07-15 | 2012-08-09 | Mayo Foundation For Medical Education And Research | Computer-aided detection (cad) of intracranial aneurysms |
| CN111445478A (zh) * | 2020-03-18 | 2020-07-24 | 吉林大学 | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113436166A (zh) * | 2021-06-24 | 2021-09-24 | 深圳市铱硙医疗科技有限公司 | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 |
| CN115187566A (zh) * | 2022-07-25 | 2022-10-14 | 杭州脉流科技有限公司 | 基于mra影像的颅内动脉瘤检测方法及装置 |
-
2023
- 2023-03-10 CN CN202310224092.0A patent/CN115953393B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201446A1 (en) * | 2009-07-15 | 2012-08-09 | Mayo Foundation For Medical Education And Research | Computer-aided detection (cad) of intracranial aneurysms |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN111445478A (zh) * | 2020-03-18 | 2020-07-24 | 吉林大学 | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113436166A (zh) * | 2021-06-24 | 2021-09-24 | 深圳市铱硙医疗科技有限公司 | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 |
| CN115187566A (zh) * | 2022-07-25 | 2022-10-14 | 杭州脉流科技有限公司 | 基于mra影像的颅内动脉瘤检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| KE WU等: ""Evaluation of an automated intracranial aneurysm detection and rupture analysis approach using cascade detection and classification networks"", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 * |
| 耿辰等: ""基于深度学习的时间飞跃法磁共振血管成像对脑动脉瘤自动检测方法研究"", 《上海医学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823833A (zh) * | 2023-08-30 | 2023-09-29 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、系统及设备 |
| CN116823833B (zh) * | 2023-08-30 | 2023-11-10 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、系统及设备 |
| CN117392137A (zh) * | 2023-12-13 | 2024-01-12 | 山东科技大学 | 一种颅内动脉瘤图像检测方法、系统、设备及介质 |
| CN117392137B (zh) * | 2023-12-13 | 2024-02-13 | 山东科技大学 | 一种颅内动脉瘤图像检测方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953393B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110838124B (zh) | 用于分割具有稀疏分布的对象的图像的方法、系统和介质 | |
| US10582907B2 (en) | Deep learning based bone removal in computed tomography angiography | |
| CN109102502B (zh) | 基于三维卷积神经网络的肺结节检测方法 | |
| CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
| CN113344849B (zh) | 一种基于YOLOv5的微乳头检测系统 | |
| CN111091527B (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
| CN110827242B (zh) | 一种基于卷积神经网络的颅内动脉瘤检测方法及系统 | |
| CN109300530B (zh) | 病理图片的识别方法及装置 | |
| CN115953393A (zh) | 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质 | |
| CN108648192B (zh) | 一种检测结节的方法及装置 | |
| CN108986891A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| CN112541893B (zh) | 一种三维断层扫描图像中树状结构分叉关键点的检测方法 | |
| CN110705403A (zh) | 细胞分类方法、装置、介质及电子设备 | |
| CN110853011B (zh) | 用于肺结节检测的卷积神经网络模型的构建方法 | |
| CN112164082A (zh) | 基于3d卷积神经网络分割多模态mr脑部图像方法 | |
| CN112308846B (zh) | 血管分割方法、装置及电子设备 | |
| CN109492706A (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| CN111462047A (zh) | 血管参数测量方法、装置、计算机设备和存储介质 | |
| CN109583364A (zh) | 图像识别方法及设备 | |
| CN113362271A (zh) | 血管三维影像分割方法、装置、计算机设备和存储介质 | |
| CN112991365A (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN113889238B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN113096080A (zh) | 图像分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |