CN117953027B - 一种dwi-flair不匹配评估方法、装置、介质及产品 - Google Patents
一种dwi-flair不匹配评估方法、装置、介质及产品 Download PDFInfo
- Publication number
- CN117953027B CN117953027B CN202410329867.5A CN202410329867A CN117953027B CN 117953027 B CN117953027 B CN 117953027B CN 202410329867 A CN202410329867 A CN 202410329867A CN 117953027 B CN117953027 B CN 117953027B
- Authority
- CN
- China
- Prior art keywords
- image
- image segmentation
- flair
- dwi
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 claims abstract description 113
- 238000002075 inversion recovery Methods 0.000 claims abstract description 43
- 239000007788 liquid Substances 0.000 claims abstract description 42
- 238000009792 diffusion process Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 17
- 239000006185 dispersion Substances 0.000 claims abstract description 7
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 42
- 230000001154 acute effect Effects 0.000 claims description 33
- 230000007654 ischemic lesion Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 239000012530 fluid Substances 0.000 claims 1
- 208000006011 Stroke Diseases 0.000 description 15
- 208000032382 Ischaemic stroke Diseases 0.000 description 13
- 238000013210 evaluation model Methods 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 230000002537 thrombolytic effect Effects 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 206010056292 Androgen-Insensitivity Syndrome Diseases 0.000 description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 description 4
- 239000003146 anticoagulant agent Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010061216 Infarction Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007574 infarction Effects 0.000 description 3
- 230000000302 ischemic effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000001990 intravenous administration Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010067276 Cytotoxic oedema Diseases 0.000 description 1
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 1
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008289 pathophysiological mechanism Effects 0.000 description 1
- 229940068196 placebo Drugs 0.000 description 1
- 239000000902 placebo Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000010410 reperfusion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Abstract
本发明公开一种DWI‑FLAIR不匹配评估方法、装置、介质及产品,涉及图像识别技术领域,方法包括:获取目标对象的弥散加权影像和液体衰减反转恢复影像;应用第一图像分割模型对弥散加权影像进行分割,得到第一图像分割结果;应用第二图像分割模型对液体衰减反转恢复影像进行分割,得到第二图像分割结果;将第二图像分割结果配准到第一图像分割结果,得到配准后的第二图像分割结果;应用Dice指标,评估第一图像分割结果和配准后的第二图像分割结果的不匹配程度。本发明能够提高评估DWI‑FLAIR是否匹配的效率。
Description
技术领域
本发明涉及图像识别技术领域,特别是涉及一种DWI-FLAIR不匹配评估方法、装置、介质及产品。
背景技术
急性缺血性卒中(acute ischemic stroke,AIS)是一种常见的脑血管病类型,其中醒后卒中约占20%。如果加上无症状卒中以及已知发病时间>6h的患者,那么因超出时间窗而失去再灌注治疗机会的患者比例会更高。"不匹配"是根据缺血半暗带和梗死核心的病理生理学机制引入的一种影像学概念。利用神经影像学技术评估梗死核心、缺血半暗带以及由此产生的不匹配体积,有望为AIS的静脉溶栓及血管内治疗提供更多的指导。
急性脑梗死引起的细胞毒性水肿会导致水的自由扩散减少,进而造成表观扩散系数降低和DWI信号增强。DWI可早期显示缺血性病变的大小和部位,而FLAIR阳性率则随着发病至MRI检查时间间隔的延长而逐渐增高,因此,DWI阳性但FLAIR阴性的患者很可能处于安全有效的溶栓治疗时间窗内。WAKE-UP(Efficacy and Safety of MRI-BasedThrombolysis in Wake-Up Stroke)研究进一步证实了在发病时间不明的AIS患者中根据DWI-FLAIR不匹配指导静脉溶栓治疗的有效性。对于无明显FLAIR高信号的AIS患者,DWI病灶的FLAIR相对信号强度较高与静脉溶栓治疗效果降低有关,这与治疗效果与卒中发病时间之间的负相关联系相一致。另外,根据文献[1]Thomalla G,Fiebach J B, ØstergaardL,et al.A multicenter,randomized, double-blind, placebo-controlled trial totest efficacy and safety of magnetic resonance imaging-based thrombolysis inwake-up stroke (WAKE-UP)[J]. International Journal of Stroke,2014,9(6):829-836.和[2]Thomalla G,Cheng B,Ebinger M,et al.DWI-FLAIR mismatch for theidentification of patients with acute ischaemic stroke within 4·5 h ofsymptom onset (PRE-FLAIR):a multicentre observational study[J].The LancetNeurology,2011,10(11):978-986.的研究表明,基于改良的DWI-FLAIR不匹配(定义为存在DWI病变但FLAIR序列无相应信号改变,或FLAIR病变明显小于DWI病变)选择醒后卒中或发病时间不明卒中患者进行溶栓治疗是可行的。对于接受EVT治疗的LVO所致ASI患者,DWI-FLAIR不匹配同样与转归更好以及有症状颅内出血更少相关。虽然其并非基于组织窗的不匹配,但这种基于不同序列显像发病时间的不同产生的不匹配为醒后卒中的治疗提供了理论支持。
目前判断DWI-FLAIR是否匹配通常将DWI和FLAIR图像进行对比。DWI图像通常显示出高信号强度的区域,因为它对水分子的扩散敏感,而FLAIR图像则用于抑制脑脊液的信号,通常显示出低信号强度的区域。因此,两者在图像上呈现出互补的特点。但是,分析和解释医学影像需要时间和工作量,使得DWI-FLAIR是否匹配的评估效率较低。
发明内容
本发明的目的是提供一种DWI-FLAIR不匹配评估方法、装置、介质及产品,能够提高评估DWI-FLAIR是否匹配的效率。
为实现上述目的,本发明提供了如下方案:
一种DWI-FLAIR不匹配评估方法,所述方法包括:
获取目标对象的弥散加权影像和液体衰减反转恢复影像;
应用第一图像分割模型对所述弥散加权影像进行分割,得到第一图像分割结果;其中,所述第一图像分割模型是利用急性缺血性病变弥散加权影像数据集对基于U-Net框架的神经网络进行训练得到的;
应用第二图像分割模型对所述液体衰减反转恢复影像进行分割,得到第二图像分割结果;其中,所述第二图像分割模型是利用急性缺血性病变液体衰减反转恢复影像数据集对基于U-Net框架的神经网络进行训练得到的;
将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果;
应用Dice指标,评估所述第一图像分割结果和所述配准后的第二图像分割结果的不匹配程度。
可选地,所述基于U-Net框架的神经网络包括依次连接的四个下采样层、残差模块、依次连接的四个上采样层和第一激活函数;
依次连接的四个所述下采样层与所述残差模块连接;所述残差模块与依次连接的四个所述上采样层连接;依次连接的四个所述上采样层与所述第一激活函数连接。
可选地,所述下采样层包括依次连接的最大池化层、第一卷积层、第一InstanceNorm层、第二激活函数、第二卷积层、第二InstanceNorm层和第三激活函数;
所述第一卷积层和所述第二卷积层的卷积核的尺寸均为3。
可选地,所述上采样层包括依次连接的反卷积层、第三卷积层、第三InstanceNorm层、第三激活函数、第四卷积层、第四InstanceNorm层和第四激活函数;
所述第三卷积层和所述第四卷积层的卷积核的尺寸均为3。
可选地,所述急性缺血性病变弥散加权影像数据集的构建过程具体包括:
获取急性缺血性病变的原始弥散加权影像;
剔除所述原始弥散加权影像的异常数据,得到剔除后的原始弥散加权影像;
对所述剔除后的原始弥散加权影像中的目标区域进行标注,得到标注后的原始弥散加权影像,并将所述原始弥散加权影像和所述标注后的原始弥散加权影像作为所述急性缺血性病变弥散加权影像数据集。
可选地,所述急性缺血性病变液体衰减反转恢复影像数据集的构建过程具体包括:
获取急性缺血性病变的原始液体衰减反转恢复影像;
剔除所述原始液体衰减反转恢复影像的异常数据,得到剔除后的原始液体衰减反转恢复影像;
对所述剔除后的原始液体衰减反转恢复影像中的目标区域进行标注,得到标注后的原始液体衰减反转恢复影像,并将所述原始液体衰减反转恢复影像和所述标注后的原始液体衰减反转恢复影像作为所述急性缺血性病变液体衰减反转恢复影像数据集。
可选地,将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果,具体包括:
将所述液体衰减反转恢复影像配准到所述弥散加权影像,得到仿射变换矩阵;
应用仿射变换矩阵,将所述第二图像分割结果配准到所述第一图像分割结果。
一种计算机装置,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现上述任一项所述的DWI-FLAIR不匹配评估方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述任一项所述的DWI-FLAIR不匹配评估方法的步骤。
一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现上述任一项所述的DWI-FLAIR不匹配评估方法的步骤。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明应用第一图像分割模型对目标对象的弥散加权影像进行分割,得到第一图像分割结果,应用第二图像分割模型对目标对象的液体衰减反转恢复影像进行分割,得到第二图像分割结果,能够自动识别患者在DWI和FLAIR影像上显示出的目标区域,并快速进行分割;然后将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果;最后,应用Dice指标,评估所述第一图像分割结果和所述配准后的第二图像分割结果的不匹配程度,实现对DWI-FLAIR是否匹配的自动评评估,提高评估DWI-FLAIR是否匹配的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的图像分割模型架构示意图;
图2为本发明实施例1提供的将FLAIR采用Affine变换配准到DWI上的过程示意图;
图3为本发明实施例1提供的应用变换矩阵进行分割结果对齐过程示意图;
图4为本发明实施例1提供的基于深度学习模型的DWI-FLAIR不匹配评估方法的实际应用流程图;方法流程示意图;
图5为本发明实施例1提供的DWI-FLAIR不匹配评估方法流程示意图;
图6为计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种DWI-FLAIR不匹配评估方法、装置、介质及产品,能够提高评估DWI-FLAIR是否匹配的效率。
本发明提供了一个基于深度学习模型的DWI-FLAIR不匹配评估模型,能够自动识别患者在DWI和FLAIR影像上显示出的目标区域,并快速进行分割;然后通过本发明设计的不匹配评估模块,得出当前目标区域不匹配程度的得分。
本发明借助深度模型的能力实现了DWI和FLAIR的影像中急性缺血性病变的图像识别,并通过设计的病变不匹配评估算法,计算得到用于描述DWI和FLAIR的影像中急性缺血性病变不匹配程度的得分。
流程简述如下:(1)利用DWI急性缺血性病变数据集,对本发明构建的DWI-UNet分割网络进行训练,得到DWI图像分割模型;(2)利用FLAIR急性缺血性病变数据集,对本发明构建的FLAIR-UNet分割网络进行训练,得到FLAIR图像分割模型;(3)对于一对DWI和FLAIR影像,使用FSL工具将FLAIR影像配准到DWI影像上,得到仿射变换矩阵;(4)使用DWI图像分割模型和FLAIR分割模型分别对影像进行分割,得到两个图像分割结果;(5)利用仿射变换矩阵,将得到的两个分割结果配准;(6)计算配准后两个分割结果的Dice指标,用1-Dice值得到不匹配程度,换算成得分。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图5所示,本实施例中的一种DWI-FLAIR不匹配评估方法,包括:
步骤S1:获取目标对象的弥散加权影像和液体衰减反转恢复影像。
步骤S2:应用第一图像分割模型对所述弥散加权影像进行分割,得到第一图像分割结果;其中,所述第一图像分割模型是利用急性缺血性病变弥散加权影像数据集对基于U-Net框架的神经网络进行训练得到的。
其中,所述基于U-Net框架的神经网络包括依次连接的四个下采样层、残差模块、依次连接的四个上采样层和第一激活函数。
依次连接的四个所述下采样层与所述残差模块连接;所述残差模块与依次连接的四个所述上采样层连接;依次连接的四个所述上采样层与所述第一激活函数连接。
具体地,所述下采样层包括依次连接的最大池化层、第一卷积层、第一InstanceNorm层、第二激活函数、第二卷积层、第二InstanceNorm层和第三激活函数;所述第一卷积层和所述第二卷积层的卷积核的尺寸均为3。
所述上采样层包括依次连接的反卷积层、第三卷积层、第三InstanceNorm层、第三激活函数、第四卷积层、第四InstanceNorm层和第四激活函数;所述第三卷积层和所述第四卷积层的卷积核的尺寸均为3。
进一步地,所述急性缺血性病变弥散加权影像数据集的构建过程具体包括:
步骤11:获取急性缺血性病变的原始弥散加权影像。
步骤12:剔除所述原始弥散加权影像的异常数据,得到剔除后的原始弥散加权影像。
步骤13:对所述剔除后的原始弥散加权影像中的目标区域进行标注,得到标注后的原始弥散加权影像,并将所述原始弥散加权影像和所述标注后的原始弥散加权影像作为所述急性缺血性病变弥散加权影像数据集。
步骤S3:应用第二图像分割模型对所述液体衰减反转恢复影像进行分割,得到第二图像分割结果;其中,所述第二图像分割模型是利用急性缺血性病变液体衰减反转恢复影像数据集对基于U-Net框架的神经网络进行训练得到的。
其中,所述急性缺血性病变液体衰减反转恢复影像数据集的构建过程具体包括:
步骤21:获取急性缺血性病变的原始液体衰减反转恢复影像。
步骤22:剔除所述原始液体衰减反转恢复影像的异常数据,得到剔除后的原始液体衰减反转恢复影像。
步骤23:对所述剔除后的原始液体衰减反转恢复影像中的目标区域进行标注,得到标注后的原始液体衰减反转恢复影像,并将所述原始液体衰减反转恢复影像和所述标注后的原始液体衰减反转恢复影像作为所述急性缺血性病变液体衰减反转恢复影像数据集。
在实际应用中,本发明中所使用的两个图像分割模型:1)DWI-UNet图像分割模型(即第一图像分割模型);2)FLAIR-UNet图像分割模型(即第二图像分割模型),都采用基于UNet的改进网络训练得到。
本发明所构建的两个图像分割模型架构一致,如图1所示。基于传统的U-Net框架,本发明的图像分割网络主要由4个下采样和上采样阶段构成。其中,每个下采样层包括一个最大池化层,两个卷积卷积层(卷积核大小为3,步长为1,填充为1),两个InstanceNorm层和两个ReLU激活函数,并按照最大池化层、卷积层-1、InstanceNorm-1、ReLU-1、卷积层-2、InstanceNorm-2、ReLU-2顺序构建;每个上采样层包括一个反卷积层(卷积核大小为2,步长为2,填充为0),两个卷积层(卷积核大小为3,步长为1,填充为1),两个InstanceNorm层和两个ReLU激活函数,并按照反卷积层、卷积层-1、InstanceNorm-1、ReLU-1、卷积层-2、InstanceNorm-2、ReLU-2顺序构建。为了提升网络对医学图像的特征提取能力,在下采样阶段还采用了密集连接方式,并在Bottleneck处增加了一个残差模块,以此确保分割模型能够提取到足够的用于分割的信息。最后将网络的输出经过一个Sigmoid激活函数,将输出的值域范围限制到[0,1],认为该值是对目标区域预测的概率结果。
对DWI-UNet图像分割模型和FLAIR-UNet图像分割模型进行训练时,首先构造DWI和FLAIR急性缺血性病变数据集,对原始DWI和FLAIR影像进行挑选,剔除异常数据,然后由医生手动勾画出病变区域,作为对应图像的目标区域标注,与原始影像数据构成图像分割数据集。
然后应用对应的图像分割数据集分别对DWI-UNet图像分割模型和FLAIR-UNet图像分割模型进行训练,并且在训练时采用加权交叉熵损失(Weighted Binary CrossEntropy Loss)和Dice损失,训练的总损失函数为二者之和,其计算公式分别如下:
;
;
其中,表示权重参数,/>表示一张图像中第/>个像素点,/>表示该像素点处的真实标签值,/>表示该像素点处网络的预测值,/>表示对应元素进行乘积操作,N为一张图像中像素点的总个数。
最终通过反向梯度传播和梯度下降算法分别训练网络直到网络收敛。采用交叉验证的方式,在测试集上通过评估模型分割结果的平均DICE值和平均Hausdorff Distance值,选取评价指标最好的,即分割精度最高的模型进行参数保存,最终得到训练好的DWI-UNet图像分割模型和训练好的FLAIR-UNet图像分割模型。
步骤S4:将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果。
S4具体包括:
步骤S41:将所述液体衰减反转恢复影像配准到所述弥散加权影像,得到仿射变换矩阵。
步骤S42:应用仿射变换矩阵,将所述第二图像分割结果配准到所述第一图像分割结果。
步骤S5:应用Dice指标,评估所述第一图像分割结果和所述配准后的第二图像分割结果的不匹配程度。
本发明提供的DWI-FLAIR不匹配评估方法能够构建为DWI-FLAIR不匹配评估模型,下面对本发明中的DWI-FLAIR不匹配评估模型进行阐述:
首先构建不匹配评估指标:对于同一使用者的DWI图像和FLAIR图像,认为在FLAIR上没有显示出目标区域而在DWI上显示出目标区域即意味着不匹配。Dice度量指标是一种集合相似度度量指标,通常用于计算两个样本的相似度,值阈为[0,1]。在医学图像中经常用于图像分割,分割的最好结果是1,最差时候结果为0,其计算公式如下:
;
在本发明中,A,B分别代表DWI图像分割结果和FLAIR图像分割结果。因此,通过深度学习模型得到两种图像的图像分割结果后,计算二者的Dice值即可反映出DWI图像和FLAIR图像上显示出的目标区域的匹配程度。其中,目标区域为是使用者根据需要确定的,例如,目标区域可以为急性缺血性卒中病灶。而1-Dice即反映了两个分割出的目标区域的不匹配程度,计算公式如下,其中为不匹配分数:
;
应用上述评价指标,对具体评估流程进行描述。通常同一使用者DWI和FLAIR的影像并不完全对齐,直接利用分割得到的结果是无法进行不匹配评估计算的,因为对于同一坐标,二者可能对应于不同的位置。因此,需要使两个影像中相同的解剖结构对齐,用坐标表示时,希望他们在相同的坐标上。如图2所示,首先使用FSL工具,将FLAIR图像(设其宽、高、深度大小为H’,W’,D’)配准到DWI图像上(设其宽、高、深度大小为H,W,D)。采用仿射变换(Affine Transformations),12个自由度(采用的计算方法是12个自由度的仿射变换,这是因为在欧氏空间中有x,y,z三个坐标轴,每个坐标轴对应的有平移、旋转、缩放、倾斜四种变换,共12种即12个自由度)。然变换的各类繁多,但可以用代数方程来表示:
;
其中,R为实数集,代表增广的原始和变换后图像,它们前三个元素是欧氏空间中的实际位置,它们的最后一个元素为1,用于实现缩放;M代表变换矩阵。借助FSL工具,在配准完成后,可以得到仿射变换矩阵M,该矩阵具有的形式如图2中所示,这个仿射变换矩阵描述了将FLAIR图像与DWI图像配准需要经过的矩阵变换,其中/>代表上述的12个自由度,因此,对于FLAIR-UNet分割的结果运用同等的矩阵变换操作,即可实现和DWI-UNet分割结果的对齐。
如图3所示,借助FSL工具所提供的apply函数,对FLAIR图像分割网络得到的结果(大小为H’,W’,D’)应用上述得到的仿射变换矩阵,并选择通过最近邻插值的方式执行变换,使配准变换作用在FLAIR目标区域结果上,得到配准后的分割结果(大小为H,W,D),即实现了与DWI图像分割结果(大小为H,W,D)对齐。采用不匹配评估指标公式,对配准后的两个分割结果进行计算,得到最终的DWI-FLAIR不匹配分数,分数高于某个阈值即认为当前使用者的DWI-FLAIR存在不匹配现象,并且,根据研究表明,弥散加权成像(DWI)可见,而液体衰减反转恢复(FLAIR)成像不可见的急性缺血性病变之间的不匹配,表明患者的卒中发病时间在4.5小时之内(从症状出现起≤4.5小时),根据DWI-FLAIR的不匹配可为医生确认卒中发病的时间提供辅助信息。
如图4所示,本发明所提出的一种基于深度学习模型的DWI-FLAIR不匹配评估方法,其步骤如下:
步骤1:训练图像分割模型。
利用所构建的分割数据集,分别进行DWI-UNet图像分割网络和FLAIR-UNet图像分割网络的训练,得到两个精确的图像分割模型。
步骤2:构建DWI-FLAIR不匹配评估模型。基于Dice指标构建目标区域不匹配得分。
步骤3:对DWI图像进行图像分割。使用训练好的DWI-UNet分割网络对DWI图像进行图像分割。
步骤4:对FLAIR图像进行图像分割。使用训练好的FLAIR-UNet分割网络对FLAIR图像进行图像分割。
步骤5:将FLAIR图像与DWI图像配准。使用FSL工具,采用Affine变换将FLAIR与DWI配准,得到变换所遵循的仿射矩阵。
步骤6:FLIAR分割结果与DWI分割结果配准。使用步骤5得到的仿射矩阵,将其作用到FLAIR图像分割结果上,得到与DWI分割结果对齐的FLAIR图像分割结果。
步骤7:计算不匹配评估。用构建好的DWI-FLAIR不匹配评估模型,对配准后的FLAIR和DWI分割结果进行不匹配得分计算。
本发明的优点如下所述:
1、本发明使用基于深度学习模型的DWI-FLAIR不匹配评估模型来提示医生卒中发病时间,实现了自动化分析医学影像数据,无需医生手动干预,提高了工作效率,减少了医生的工作量。可以在短时间内对大量使用者的影像数据进行分析,加快了卒中诊断和干预的速度。
2、本发明的不匹配评估模型基于深度学习,可以准确地评估DWI和FLAIR图像之间的不匹配程度。提供了卒中发生时间提示,有助于医生确定治疗的时间窗口,使医生能够更好地选择治疗策略。
3、通过提供卒中发生时间提示,本发明有望对卒中患者的治疗结果产生积极的临床影响,增加卒中患者获得及时干预的机会,有助于改善卒中患者的生存率和康复率。
4、本发明构建了一个基于深度学习模型的DWI-FLAIR不匹配评估模型。这个模型具有自动化分割和评估的能力,能够为医生识别急性缺血性卒中病变提供辅助信息。
5、本发明构建了DWI-FLAIR不匹配评估指标——基于Dice指标的计算,用于量化DWI图像和FLAIR图像上目标区域的匹配程度。
6、本发明借助FSL工具实现了FLAIR图像分割与DWI图像分割结果的对齐,实现了自动化DWI-FLAIR不匹配判读计算。
实施例2
一种计算机装置,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序以实现实施例1中的DWI-FLAIR不匹配评估方法的步骤。
实施例3
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现实施例1中的DWI-FLAIR不匹配评估方法的步骤。
实施例4
一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现实施例1中的DWI-FLAIR不匹配评估方法的步骤。
实施例5
一种计算机设备,该计算机设备可以是数据库,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理事务。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现实施例1中的DWI-FLAIR不匹配评估方法。
需要说明的是,本发明所涉及的对象信息(包括但不限于对象设备信息、对象个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经对象授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本发明所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本发明所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种DWI-FLAIR不匹配评估方法,其特征在于,所述方法包括:
获取目标对象的弥散加权影像和液体衰减反转恢复影像;
应用第一图像分割模型对所述弥散加权影像进行分割,得到第一图像分割结果;其中,所述第一图像分割模型是利用急性缺血性病变弥散加权影像数据集对基于U-Net框架的神经网络进行训练得到的;
应用第二图像分割模型对所述液体衰减反转恢复影像进行分割,得到第二图像分割结果;其中,所述第二图像分割模型是利用急性缺血性病变液体衰减反转恢复影像数据集对基于U-Net框架的神经网络进行训练得到的;
将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果;
应用Dice指标,评估所述第一图像分割结果和所述配准后的第二图像分割结果的不匹配程度;
所述基于U-Net框架的神经网络包括依次连接的四个下采样层、残差模块、依次连接的四个上采样层和第一激活函数;
依次连接的四个所述下采样层与所述残差模块连接;所述残差模块与依次连接的四个所述上采样层连接;依次连接的四个所述上采样层与所述第一激活函数连接;
所述下采样层包括依次连接的最大池化层、第一卷积层、第一InstanceNorm层、第二激活函数、第二卷积层、第二InstanceNorm层和第三激活函数;所述第一卷积层和所述第二卷积层的卷积核的尺寸均为3;
所述上采样层包括依次连接的反卷积层、第三卷积层、第三InstanceNorm层、第三激活函数、第四卷积层、第四InstanceNorm层和第四激活函数;所述第三卷积层和所述第四卷积层的卷积核的尺寸均为3;
所述第一图像分割模型为DWI-UNet图像分割模型;所述第二图像分割模型为FLAIR-UNet图像分割模型;
所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型架构一致;所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型由4个下采样和上采样阶段构成;其中,每个下采样层包括一个最大池化层,两个卷积层,两个InstanceNorm层和两个ReLU激活函数,并按照最大池化层、卷积层-1、InstanceNorm-1、ReLU-1、卷积层-2、InstanceNorm-2、ReLU-2顺序构建;每个下采样层的卷积层的卷积核大小为3,步长为1,填充为1;每个上采样层包括一个反卷积层,两个卷积层,两个InstanceNorm层和两个ReLU激活函数,并按照反卷积层、卷积层-1、InstanceNorm-1、ReLU-1、卷积层-2、InstanceNorm-2、ReLU-2顺序构建;每个上采样层的反卷积层的卷积核大小为2,步长为2,填充为0;每个上采样层的卷积层的卷积核大小为3,步长为1,填充为1;在下采样层采用密集连接方式,并在Bottleneck处增加了一个残差模块;所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型的输出经过一个Sigmoid激活函数,将输出的值域范围限制到[0,1],输出的值是对目标区域预测的概率结果;
对所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型进行训练时,首先构造DWI和FLAIR急性缺血性病变数据集,对原始DWI和FLAIR影像进行挑选,剔除异常数据,然后由医生勾画出病变区域,作为对应图像的目标区域标注,与原始影像数据构成图像分割数据集;然后应用对应的图像分割数据集分别对所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型进行训练,并且在训练时采用加权交叉熵损失和Dice损失,训练的总损失函数为二者之和,其计算公式分别如下:
;
;
其中,表示权重参数,/>表示一张图像中第/>个像素点,/>表示该像素点处的真实标签值,/>表示该像素点处网络的预测值,/>表示对应元素进行乘积操作,N为一张图像中像素点的总个数;
最终通过反向梯度传播和梯度下降算法分别训练所述DWI-UNet图像分割模型和所述FLAIR-UNet图像分割模型直到收敛;用交叉验证的方式,在测试集上通过评估模型分割结果的平均DICE值和平均Hausdorff Distance值,选取评价指标最好的,即分割精度最高的模型进行参数保存,最终得到训练好的DWI-UNet图像分割模型和训练好的FLAIR-UNet图像分割模型。
2.根据权利要求1所述的DWI-FLAIR不匹配评估方法,其特征在于,所述急性缺血性病变弥散加权影像数据集的构建过程具体包括:
获取急性缺血性病变的原始弥散加权影像;
剔除所述原始弥散加权影像的异常数据,得到剔除后的原始弥散加权影像;
对所述剔除后的原始弥散加权影像中的目标区域进行标注,得到标注后的原始弥散加权影像,并将所述原始弥散加权影像和所述标注后的原始弥散加权影像作为所述急性缺血性病变弥散加权影像数据集。
3.根据权利要求1所述的DWI-FLAIR不匹配评估方法,其特征在于,所述急性缺血性病变液体衰减反转恢复影像数据集的构建过程具体包括:
获取急性缺血性病变的原始液体衰减反转恢复影像;
剔除所述原始液体衰减反转恢复影像的异常数据,得到剔除后的原始液体衰减反转恢复影像;
对所述剔除后的原始液体衰减反转恢复影像中的目标区域进行标注,得到标注后的原始液体衰减反转恢复影像,并将所述原始液体衰减反转恢复影像和所述标注后的原始液体衰减反转恢复影像作为所述急性缺血性病变液体衰减反转恢复影像数据集。
4.根据权利要求1所述的DWI-FLAIR不匹配评估方法,其特征在于,将所述第二图像分割结果配准到所述第一图像分割结果,得到配准后的第二图像分割结果,具体包括:
将所述液体衰减反转恢复影像配准到所述弥散加权影像,得到仿射变换矩阵;
应用仿射变换矩阵,将所述第二图像分割结果配准到所述第一图像分割结果。
5.一种计算机装置,包括:存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-4中任一项所述DWI-FLAIR不匹配评估方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-4中任一项所述DWI-FLAIR不匹配评估方法的步骤。
7.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-4中任一项所述DWI-FLAIR不匹配评估方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329867.5A CN117953027B (zh) | 2024-03-22 | 一种dwi-flair不匹配评估方法、装置、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329867.5A CN117953027B (zh) | 2024-03-22 | 一种dwi-flair不匹配评估方法、装置、介质及产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117953027A CN117953027A (zh) | 2024-04-30 |
CN117953027B true CN117953027B (zh) | 2024-06-25 |
Family
ID=
Non-Patent Citations (2)
Title |
---|
Automatic Ischemic Stroke Lesions Segmentation in Multimodality MRI using Mask Region-based Convolutional Neural Network;Rimeh Daoudi et al.;《2020 4th International Conference on Advanced Systems and Emergent Technologies (IC_ASET)》;20201215;362-366 * |
基于磁共振影像大数据的缺血性脑卒中神经功能损伤与病灶分布关系研究;郭有容;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20230215(第02期);1-86 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mahapatra et al. | Image super-resolution using progressive generative adversarial networks for medical image analysis | |
Li et al. | Fully convolutional network ensembles for white matter hyperintensities segmentation in MR images | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
Khouloud et al. | W-net and inception residual network for skin lesion segmentation and classification | |
CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
CN111681252A (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
US10332241B2 (en) | Bias correction in images | |
Kuang et al. | EIS-Net: Segmenting early infarct and scoring ASPECTS simultaneously on non-contrast CT of patients with acute ischemic stroke | |
CN109492668B (zh) | 基于多通道卷积神经网络的mri不同期多模图像表征方法 | |
CN114037714B (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
CN114581662A (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
CN110910408A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
CN113506310A (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
Sun et al. | Topological correction of infant white matter surfaces using anatomically constrained convolutional neural network | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 | |
Feng et al. | Automatic localization and segmentation of focal cortical dysplasia in FLAIR‐negative patients using a convolutional neural network | |
Yang et al. | Multi-modal medical image super-resolution fusion based on detail enhancement and weighted local energy deviation | |
CN113706451A (zh) | 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 | |
CN117409002A (zh) | 一种用于创伤的视觉识别检测系统及其检测方法 | |
CN117953027B (zh) | 一种dwi-flair不匹配评估方法、装置、介质及产品 | |
CN116071239B (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 | |
CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |