CN113538348B - 一种颅脑磁共振弥散加权图像的处理方法及相关产品 - Google Patents
一种颅脑磁共振弥散加权图像的处理方法及相关产品 Download PDFInfo
- Publication number
- CN113538348B CN113538348B CN202110729143.6A CN202110729143A CN113538348B CN 113538348 B CN113538348 B CN 113538348B CN 202110729143 A CN202110729143 A CN 202110729143A CN 113538348 B CN113538348 B CN 113538348B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- layer
- blood supply
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009792 diffusion process Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 187
- 206010061216 Infarction Diseases 0.000 claims abstract description 150
- 230000007574 infarction Effects 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000006835 compression Effects 0.000 claims abstract description 46
- 238000007906 compression Methods 0.000 claims abstract description 46
- 230000036770 blood supply Effects 0.000 claims description 171
- 238000005192 partition Methods 0.000 claims description 165
- 238000000034 method Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 57
- 238000012549 training Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 43
- 210000005013 brain tissue Anatomy 0.000 claims description 41
- 238000012360 testing method Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 210000004556 brain Anatomy 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000003066 decision tree Methods 0.000 claims description 10
- 230000005284 excitation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001125 extrusion Methods 0.000 claims description 9
- 238000002407 reforming Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 4
- 238000002597 diffusion-weighted imaging Methods 0.000 description 116
- 230000008569 process Effects 0.000 description 13
- 208000032382 Ischaemic stroke Diseases 0.000 description 12
- 206010056292 Androgen-Insensitivity Syndrome Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- BSYNRYMUTXBXSQ-UHFFFAOYSA-N Aspirin Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O BSYNRYMUTXBXSQ-UHFFFAOYSA-N 0.000 description 6
- 230000000302 ischemic effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000005865 ionizing radiation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003657 middle cerebral artery Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001159 caudate nucleus Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 210000001653 corpus striatum Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开一种颅脑磁共振弥散加权图像的处理方法及相关产品。方法中获取目标颅脑的磁共振弥散加权图像集合;将图像集合作为分割模型的输入,通过分割模型对图像集合进行处理,得到对目标颅脑的梗死核心分割结果图像。分割模型包括压缩路径和扩展路径,图像集合自压缩路径的始端输入,梗死核心分割结果图像自扩展路径的末端输出。通过扩展路径的SE模块为特征拼接结果的各通道重新分配权值并获得新的特征拼接结果,避免了直接以同等通道权值拼接不同层级图像特征造成的特征冗余的问题,保障梗死核心分割结果图像高的精确度。SE模块可有效避免梯度消失,使分割模型能够更快收敛,提升对图像的处理速度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种颅脑磁共振弥散加权图像的处理方法及相关产品。
背景技术
急性缺血性卒中(acute ischemic stroke,AIS)是一种发病率高、致残率高、病死率高、复发率高及并发症多的疾病。核心梗死区指的是与正常脑组织相比脑血流量下降超过30%的区域,这部分区域的脑组织发生了不可逆性损伤。Alberta卒中项目早期CT评分(Alberta Stroke Program Early CT Score,ASPECT评分),是评估大脑中动脉(middlecerebral artery,MCA)供血区情况的重要影像指标。医师可以参考病人的ASPECT评分选定适合的治疗方案。
目前可通过对颅脑平扫CT或者磁共振弥散加权成像(magnetic resonance-diffusion weighted imaging,MR-DWI)等方式获得的图像,进而再根据这些图像评估得到ASPECT评分。但由于平扫CT图像信噪比较低,无法明确具体的梗死脑组织范围,且存在一定的时间依赖性,导致超早期缺血性病灶检出率较低、评分结果一致性较差,因此基于平扫CT评估 ASPECT评分的可靠性存在一定争议。相比之下,MR-DWI对早期缺血脑组织的敏感性和特异性更高、图像信噪比更高、且无电离辐射损害,可精准判断梗死脑组织的范围及程度,具有更好的评分者间一致性。
基于MR-DWI图像来实现ASPECT评分过程中需要对MR-DWI图像进行处理。近年来深度学习在医学领域中广泛应用,U-Net网络因其较好的图像分割性能而广受关注。但是经典U-Net网络处理图像时,存在处理速度慢和处理结果的精确度较低的问题。由于AIS治疗的关键在于急性期,因此迫切需要一种快速、精确获得ASPECT评分的方案,这对MR-DWI图像的处理速度和精确度也提出了更高的要求。
发明内容
基于上述问题,本申请提供了一种颅脑磁共振弥散加权图像的处理方法及相关产品,以提升对MR-DWI图像的处理速度和精确度。
本申请实施例公开了如下技术方案:
本申请第一方面提供了一种颅脑磁共振弥散加权图像的处理方法,包括:
获取目标颅脑的磁共振弥散加权MR-DWI图像集合;
将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像;所述分割模型包括:压缩路径和扩展路径,所述MR-DWI图像集合从所述压缩路径的始端输入,所述梗死核心分割结果图像自所述扩展路径的末端输出;
其中,所述扩展路径包括:特征拼接层和位于所述特征拼接层的输出端的挤压与激励SE模块;所述特征拼接层用于拼接来自所述压缩路径和所述扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;所述SE模块用于为所述特征拼接结果的各通道重新分配权值,并依据所述特征拼接结果的各通道被重新分配的权值和所述特征拼接结果加权得到新的特征拼接结果;所述新的特征拼接结果作为生成所述梗死核心分割结果图像的依据。
可选地,在所述得到对所述目标颅脑的梗死核心分割结果图像之后,所述方法还包括:
根据所述梗死核心分割结果图像、脑组织模板图像和ASPECT图谱获得在所述目标颅脑的供血分区结果图像;所述供血分区结果图像包括所述梗死核心分割结果图像对应的梗死核心分割标记和所述ASPECT图谱对应的供血分区标记;
根据所述供血分区结果图像获得所述目标颅脑的ASPECT评分。
可选地,所述根据所述供血分区结果图像获得所述目标颅脑的ASPECT 评分,包括:
根据目标供血分区的标记和所述梗死核心分割标记获得所述目标供血分区中梗死核心所占的体积比;所述目标供血分区为所述供血分区结果图像中标记的任一供血分区;
获得所述目标供血分区的影像组学特征;
根据所述目标供血分区中梗死核心所占的体积比和所述目标供血分区的影像组学特征,构建所述目标供血分区对应的影像特征向量;
根据所述目标供血分区对应的影像特征向量获得所述目标供血分区的梗死评分;
根据所述供血分区结果图像中标记的所有供血分区的梗死评分获得所述目标颅脑的ASPECT评分。
可选地,所述MR-DWI图像集合包括:第一MR-DWI图像组和第二 MR-DWI图像组;所述第一MR-DWI图像组和所述第二MR-DWI图像组以不同方式展示所述目标颅脑的信息;
所述压缩路径的始端包括两个图像输入端,所述两个图像输入端分别对应所述第一MR-DWI图像组和所述第二MR-DWI图像组。
可选地,所述第一MR-DWI图像组包括:目标层的b1000图像和所述目标层的相邻两层的b1000图像;所述第二MR-DWI图像组包括:所述目标层的表观弥散系数ADC图像和所述目标层的相邻两层的ADC图像。
可选地,所述压缩路径包括:三维卷积层、特征拼接重整层、第一类二维卷积层和下采样层;所述扩展路径还包括:第二类二维卷积层和上采样层;目标特征拼接层包括第一输入通道和第二输入通道,其中所述第一输入通道用于输入所述目标特征拼接层的前一级上采样后的图像特征,所述第二输入通道用于输入与所述目标特征拼接层的前一级上采样后的图像特征具有相同分辨率的下采样后的图像特征;所述目标特征拼接层为所述扩展路径上的任意一个特征拼接层;
所述将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像,包括:
在所述压缩路径上,通过所述三维卷积层提取所述第一MR-DWI图像组的三维图像特征和所述第二MR-DWI图像组的三维图像特征;通过所述特征拼接重整层对所述第一MR-DWI图像组的三维图像特征和所述第二 MR-DWI图像组的三维图像特征进行拼接并重整,获得二维图像特征;基于所述二维图像特征,逐级利用所述第一类二维卷积层和所述下采样层进行卷积和下采样,得到逐级下采样后的图像特征;
在所述扩展路径上,通过所述目标特征拼接层对所述第一输入通道和所述第二输入通道的图像特征进行特征拼接得到所述目标特征拼接层对应的特征拼接结果;通过位于所述目标特征拼接层的输出端的SE模块为所述目标特征拼接层对应的特征拼接结果的各通道重新分配权值,得到目标特征拼接层对应的新的特征拼接结果;以及,逐级利用所述第二类二维卷积层和所述上采样层进行卷积和上采样,得到逐级上采样后的图像特征;基于位于所述扩展路径上最后一级特征拼接层的输出端的SE模块生成的新的特征拼接结果获得所述梗死核心分割结果图像。
可选地,所述两个图像输入端在所述分割模型中权重共享。
可选地,所述分割模型的损失函数包括:广义Dice损失GDL函数和交叉熵损失CE函数;所述GDL函数中分割目标的像素对应第一自适应权重,非分割目标的像素对应第二自适应权重。
可选地,所述根据所述梗死核心分割结果图像、脑组织模板图像和 ASPECT图谱获得在所述目标颅脑的供血分区结果图像,包括:
将所述梗死核心分割结果图像和所述脑组织模板图像作为配准模型的输入,通过所述配准模型获得从所述脑组织模板图像配准到所述梗死核心分割结果图像的形变场信息;
基于所述形变场信息将所述ASPECT图谱中的供血分区信息映射到所述梗死核心分割结果图像,得到所述供血分区结果图像;所述ASPECT图谱和所述脑组织模板图像匹配。
可选地,所述配准模型为通过以下操作获得:
基于待配准图像,利用模拟器生成随机形变场和变换图像;所述待配准图像对应于所述脑组织模板图像;
根据所述待配准图像和所述变换图像,获得从所述待配准图像到所述变换图像的预测形变场;所述预测形变场和所述随机形变场对应于所述形变场信息,其中,所述随机形变场作为所述预测形变场的金标准;
根据所述预测形变场和所述待配准图像得到预测配准图像;所述预测配准图像和所述变换图像对应于所述梗死核心分割结果图像,其中,所述变换图像作为所述预测配准图像的目标;
利用相似性损失函数和形变场损失函数对神经网络进行训练,根据训练结束时所述神经网络的参数得到所述配准模型;
所述相似性损失函数为关于所述预测配准图像和所述变换图像之间差距的函数;所述形变场损失函数为关于所述预测形变场和所述随机形变场之间差距的函数。
可选地,所述根据所述目标供血分区对应的影像特征向量获得所述目标供血分区的梗死评分,包括:
将所述目标供血分区对应的影像特征向量作为评分模型的输入,通过所述评分模型得到所述目标供血分区的梗死评分;当所述评分模型判定所述目标供血分区为梗死核心区域,所述评分模型输出的所述目标供血分区的梗死评分为0;当所述评分模型判定所述目标供血分区为正常区域,所述评分模型输出的所述目标供血分区的梗死评分为1。
可选地,所述评分模型为通过以下方式获得的:
获得样本数据集,所述样本数据集包括样本供血分区对应的样本影像特征向量;所述样本影像特征向量的标签为对应的样本供血分区的梗死评分;
将所述样本数据集划分为训练集和测试集;
将所述训练集中的样本影像特征向量输入待训练的评分模型中,根据所述待训练的评分模型预测出的输出相对于输入的标签的第一误差评估所述待训练的评分模型的预测效果;所述待训练的评分模型为决策树模型,所述决策树模型的根节点特征、内部节点特征和叶节点特征是以信息增益率作为标准划分得到的;
根据所述第一误差对所述待训练的评分模型进行调整,并在调整后利用所述训练集持续训练,直至所述待训练的评分模型的第一误差满足第一预设条件,训练完成得到待测试的评分模型;
将所述测试集中的样本影像特征向量输入所述待测试的评分模型中,根据所述待测试的评分模型预测出的输出相对于输入的标签的第二误差评估所述待测试的评分模型的预测效果;
根据所述第二误差对所述待测试的评分模型进行调整,并在调整后利用所述测试集持续训练,直至所述待测试的评分模型的第二误差满足第二预设条件,测试完成得到所述评分模型。
本申请第二方面提供了一种颅脑磁共振弥散加权图像的处理装置,该装置包括:
图像获取模块,用于获取目标颅脑的磁共振弥散加权MR-DWI图像集合;
模型处理模块,用于将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像;所述分割模型包括:压缩路径和扩展路径,所述MR-DWI图像集合从所述压缩路径的始端输入,所述梗死核心分割结果图像自所述扩展路径的末端输出;
其中,所述扩展路径包括:特征拼接层和位于所述特征拼接层的输出端的挤压与激励SE模块;所述特征拼接层用于拼接来自所述压缩路径和所述扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;所述SE模块用于为所述特征拼接结果的各通道重新分配权值,并依据所述特征拼接结果的各通道被重新分配的权值和所述特征拼接结果加权得到新的特征拼接结果;所述新的特征拼接结果作为生成所述梗死核心分割结果图像的依据。
本申请第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面提供的方法的步骤。
本申请第四方面提供了一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面提供的方法的步骤。
相较于现有技术,本申请具有以下有益效果:
本申请提供的颅脑磁共振弥散加权图像的处理方法中,获取目标颅脑的磁共振弥散加权MR-DWI图像集合;将MR-DWI图像集合作为分割模型的输入,通过分割模型对MR-DWI图像集合进行处理,得到对目标颅脑的梗死核心分割结果图像。分割模型包括:压缩路径和扩展路径,MR-DWI 图像集合自压缩路径的始端输入,梗死核心分割结果图像自扩展路径的末端输出。扩展路径包括:特征拼接层和位于特征拼接层的输出端的挤压与激励SE模块。其中特征拼接层用于拼接来自压缩路径和扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;SE模块用于为特征拼接结果的各通道重新分配权值,并依据特征拼接结果的各通道被重新分配的权值和特征拼接结果加权得到新的特征拼接结果;新的特征拼接结果作为生成梗死核心分割结果图像的依据。
冗余的图像特征可能造成分割模型的网络混乱,产生错误的分割结果。在本申请中通过SE模块为特征拼接结果的各通道重新分配权值并获得新的特征拼接结果,避免了直接以同等通道权值拼接不同层级图像特征造成的特征冗余的问题,进而保障分割模型处理得到的梗死核心分割结果图像具有较高的精确度。此外,SE模块可有效避免梯度消失,使分割模型能够更快收敛,因此通过该分割模型可以提升对MR-DWI图像的处理速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种颅脑磁共振弥散加权图像的处理方法的流程图;
图2为本申请实施例提供的一种SE模块的结构示意图;
图3为本申请实施例提供的一种分割模型的网络结构示意图;
图4为本申请实施例提供的另一种颅脑磁共振弥散加权图像的处理方法的流程图;
图5A为本申请实施例提供的一种核团层中ASPECT图谱示意图;
图5B为本申请实施例提供的一种核团上层中ASPECT图谱示意图;
图6为本申请实施例提供的一种获得在目标颅脑的供血分区结果图像的流程图;
图7为本申请实施例提供的一种构建配准模型的流程图;
图8为本申请实施例提供的配准模型的构建方式示意图;
图9为本申请实施例提供的一种获得目标颅脑ASPECT评分的流程图;
图10为本申请实施例提供的一种评分模型建立方法流程图;
图11为本申请实施例提供的一种颅脑磁共振弥散加权图像的处理装置的结构示意图。
具体实施方式
在医学领域,ASPECT评分是评估MCA供血区情况的重要影像指标,对于AIS的医学研究具有重要意义。基于平扫CT图像因信噪比较低、时间依赖性较高等问题,导致评估出的ASPECT评分可靠性不足。而MR-DWI 图像对早期缺血脑组织的敏感性和特异性更高、图像信噪比更高、且无电离辐射损害,因此基于MR-DWI图像获得的ASPECT评分可靠性更高。以 MR-DWI图像实现ASPECT评分需要首先对MR-DWI图像进行处理,例如图像分割,但是当前已有的方案中,对处理MR-DWI图像存在精确度较低和速度较慢的问题。这些问题影响了基于MR-DWI图像获得ASPECT评分的精确度和速度,进而降低了ASPECT评分在AIS医学研究和辅助医师进行AIS治疗等方面的价值。
针对以上问题,发明人通过研究于本申请实施例中提供了颅脑磁共振弥散加权图像的处理方法及相关产品。在本申请实施例中,以分割模型实现对MR-DWI图像的分割处理。分割模型中创造性地在扩展路径上特征拼接层的输出端添加挤压与激励(squeeze andexcitation,SE)模块,有效提升分割模型处理MR-DWI图像的精确度和速度。
下面结合实施例和附图对本申请技术方案进行说明。
图1为本申请实施例提供的一种颅脑磁共振弥散加权图像的处理方法的流程图。如图1所示的图像处理方法包括:
步骤101:获取目标颅脑的磁共振弥散加权MR-DWI图像集合。
在本申请实施例中,目标颅脑是目标对象的颅脑。目标对象可以是患者、医学研究招募的志愿者等,此处对目标患者的身份不做限定。应用磁共振弥散加权成像技术即可以获得目标颅脑的一系列的MR-DWI图像。为了便于理解和描述,本申请实施例中,将用于图像处理的MR-DWI图像归入为MR-DWI图像集合。
在一种可能的实现方式中,MR-DWI图像集合中的MR-DWI图像可以通过不同方式展示目标颅脑的信息,例如一部分MR-DWI图像为b1000图像,另一部分MR-DWI图像为表观弥散系数(apparent diffusion coefficient, ADC)图像。由于b1000图像和ADC图像分别以不同方式展示了目标颅脑的信息,因此可以为图像处理提供更加丰富的信息,辅助提升图像处理的精确度。b1000图像为通过磁共振弥散加权成像技术直接获得的原始图像, ADC图像为在b1000图像的基础上通过图像处理获得的图像。由b1000图像处理得到ADC图像属于比较成熟的技术,故此处对该处理过程不做赘述。
在另一种可能的实现方式中,MR-DWI图像集合中包含以磁共振弥散加权成像技术获得的该目标颅脑不同层的MR-DWI图像。例如,将获取的多层MR-DWI图像中梗死脑组织最显著的一层作为目标层。为了充分挖掘 MR-DWI图像长轴方向的空间解剖信息,MR-DWI图像集合可以包含目标层的MR-DWI图像和目标层附近的其它一层或者多层MR-DWI图像。作为示例,MR-DWI图像集合包含目标层以及目标层上下相邻层的MR-DWI图像。在该实现方式中,将目标层和目标层的相邻层的MR-DWI图像作为图像处理的基础,能够使图像长轴方向的空间信息有效运用到处理过程中,实现更加细致准确的图像分割。
步骤102:将MR-DWI图像集合作为分割模型的输入,通过分割模型对MR-DWI图像集合进行处理,得到对目标颅脑的梗死核心分割结果图像。
在本申请实施例中,分割模型为在经典U-Met模型基础上做出新改进的模型。类似经典U-Net模型,在本申请实施例中提供的分割模型也包括压缩路径和扩展路径。其中,压缩路径可视为编码器,能够编码模型中输入的图像;而扩展路径可视为解码器,能够恢复出所输入图像的原始分辨率。本申请中,输入为步骤101获取的MR-DWI图像集合,因此MR-DWI图像集合从压缩路径的始端输入;预期的输出为基于MR-DWI图像集合处理获得的梗死核心分割结果图像,因此梗死核心分割结果图像从扩展路径的末端输出。而压缩路径的末端也连接扩展路径的始端。
作为示例,压缩路径进行了三级的编码处理,扩展路径进行了三级的解码处理。在层级L1图像特征分辨率x1×y1,在层级L2图像特征分辨x2×y2,在层级L3图像特征分辨率为x3×y3,在层级L4图像特征分辨率x4×y4。其中,L1为最低层级,其次为L2和L3,L2的层级低于L3的层级,L4为最高层级。低层特征分辨率更高,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。高层特征具有更强的语义信息,但是分辨率很低,对细节的感知能力较差。
在本申请实施例中,分割模型的扩展路径上包括:特征拼接层和位于特征拼接层的输出端的SE模块。特征拼接层用于拼接来自压缩路径和扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果。例如,第一特征拼接层(位于层级L1)用于将压缩路径上编码处理得到的来自层级L1、分辨率为x1×y1的图像特征与扩展路径上解码得到的来自层级L2、分辨率为x1×y1的图像特征进行拼接;第二特征拼接层(位于层级L2)用于将压缩路径上编码处理得到的来自层级L2、分辨率为x2×y2的图像特征与扩展路径上解码得到的来自层级L3、分辨率为x2×y2的图像特征进行拼接;第三特征拼接层(位于层级L3)用于将压缩路径上编码处理得到的来自层级L3、分辨率为x3×y3的图像特征与扩展路径上解码得到的来自层级 L4、分辨率为x3×y3的图像特征进行拼接。
区别于经典U-Net模型,在本申请实施例中,分割模型上特别部署的 SE模块用于为特征拼接结果的各通道重新分配权值,并依据特征拼接结果的各通道被重新分配的权值和特征拼接结果加权得到新的特征拼接结果。
图2为本申请实施例提供的一种SE模块的结构示意图。如图2所示,对于扩展路径上任一SE模块,其输入为同级的特征拼接层输出的特征拼接结果。通过SE模块能够获得为特征拼接结果的各通道特征重新分配的权值。如图2所示的SE模块中的融合符号所示,能够以各通道被重新分配的权值和原输入的特征拼接结果进行加权运算,进而获得新的特征拼接结果。SE 模块将新的特征拼接结果在扩展路径上向后传输。进而,以SE模块输出的新的特征拼接结果作为生成梗死核心分割结果图像的依据。通过SE模块的作用,不再是以特征拼接层直接输出的特征拼接结果作为生成梗死核心分割结果图像的依据。
SE模块能够执行挤压(squeeze)操作、激励(excitation)操作以及融合(scale)操作。其中,挤压操作利用全局平均池化层描述特征拼接结果各通道的全局信息;激励操作利用整流线性单元(ReLU)为各通道重新分配权值;融合操作将计算出的各通道权值分别与原特征拼接结果中对应通道的二维矩阵相乘。在本申请实施例提供的颅脑磁共振弥散加权图像的处理方法中,分割模型的SE模块能够通过权衡多层级图像特征(例如来自层级L1和来自层级L2的同样分辨率的图像特征)的重要性,根据权衡结果自适应地重新分配通道的权值并实行加权。因此,SE模块作用后,能够有效融合扩展路径和压缩路径的多层级图像特征。
结合图2所示的SE模块结构示意图可知,在可选实现方式中,SE模块可以包括第一路径和第二路径,其中第一路径用于传输特征拼接层输出的特征拼接结果,第二路径包括依次连接的全局平均池化层、第一全连接层、整流线性单元、第二全连接层和sigmoid函数。sigmoid函数处理结束后即可得到为各通道重新分配的权值。经过融合操作将SE模块计算出来的各通道权值分别与原特征拼接结果中对应通道的二维矩阵相乘,得到结果输出,输出的即为新的特征拼接结果。
以上即为本申请实施例提供的颅脑磁共振弥散加权图像的处理方法。在本申请中通过SE模块为特征拼接结果的各通道重新分配权值并获得新的特征拼接结果,避免了直接以同等通道权值拼接不同层级图像特征造成的特征冗余的问题,进而避免分割模型网络发生混乱,保障分割模型处理得到的梗死核心分割结果图像具有较高的精确度,降低分割出错的几率。此外,SE模块可有效避免梯度消失,使分割模型能够更快收敛,因此通过该分割模型可以提升对MR-DWI图像的处理速度。
前面实施例中分割模型的结构做出了简要说明,并突出了与经典U-Net 模型相比显著的区别,即在扩展路径上添加了SE模块。为了便于理解分割模型对MR-DWI图像集合进行处理的全过程,以下结合图3所示的分割模型的网络结构展开详细的说明。
MR-DWI图像集合包括:第一MR-DWI图像组和第二MR-DWI图像组;第一MR-DWI图像组和第二MR-DWI图像组以不同方式展示目标颅脑的信息。作为示例,第一MR-DWI图像组包括:目标层的b1000图像和目标层的相邻两层的b1000图像;第二MR-DWI图像组包括:目标层的ADC 图像和目标层的相邻两层的ADC图像。
图3为本申请实施例提供的一种分割模型的网络结构示意图。如图3 所示的分割模型网络中,压缩路径的始端包括两个图像输入端,分别对应第一MR-DWI图像组和第二MR-DWI图像组。由此可知,在本申请实施例提供的分割模型中,两个图像输入端均相当于输入了三维图像,并且两个图像输入端输入的三维图像分别以不同方式展示目标颅脑的信息。因此便于挖掘出更多的空间信息,实现更加精准的分割效果。
在压缩路径上还包括:三维卷积层、特征拼接重整层、二维卷积层和下采样层。由于扩展路径上也包含二维卷积层,为了便于区分,将压缩路径上的二维卷积层命名为第一类二维卷积层,将扩展路径上的二维卷积层命名为第二类二维卷积层。如图3所示,两个图像输入端分别接入三维卷积层。在可选的实现方式中,压缩路径上的三维卷积层包括:3×3×3的卷积层、一个批量归一化(batch normalization,BN)层和PReLU激活函数。在压缩路径上,通过三维卷积层提取第一MR-DWI图像组的三维图像特征和第二MR-DWI图像组的三维图像特征;通过特征拼接重整层对第一 MR-DWI图像组的三维图像特征和第二MR-DWI图像组的三维图像特征进行拼接并重整,获得二维图像特征。其后便基于二维图像特征进行进一步编码处理。具体地,基于二维图像特征,逐级利用第一类二维卷积层和下采样层进行卷积和下采样,得到逐级下采样后的图像特征。如图3中所示,一级下采样层下采样结束后,将获得的下采样后的图像特征传输给下一级第一类二维卷积层中。
在本申请实施例中,区别于经典U-Net模型,在下采样层采用步长为2 的2×2卷积层,替换了经典U-Net模型的最大池化层(max pooling),最大池化容易损失位置信息,步长为2的2×2卷积层可根据实际需求筛选图像特征,保留关键的特征。进而实现了有选择的降维。例如,根据实际需求可以调整2×2卷积层的卷积核参数。
在一种可能的实现方式中,可以设置压缩路径上两个图像输入端在分割模型中权重共享,也就是共享同一3D卷积核的参数。如此可以提升模型的效率,使模型的图像处理速度得到提升。
对于扩展路径,除了包含前面提到的特征拼接层和SE模块,扩展路径还包括第二类二维卷积层和上采样层。一般而言,在该分割模型中,包括多个特征拼接层和其后的SE模块。为了便于介绍,以目标特征拼接层为示例进行说明,目标特征拼接层具体可以是分割模型中的任意一个特征拼接层。目标特征拼接层包括第一输入通道和第二输入通道,其中第一输入通道用于输入目标特征拼接层的前一级上采样后的图像特征,第二输入通道用于输入与目标特征拼接层的前一级上采样后的图像特征具有相同分辨率的下采样后的图像特征。
在扩展路径上,通过目标特征拼接层对第一输入通道和第二输入通道的图像特征进行特征拼接得到目标特征拼接层对应的特征拼接结果;通过位于目标特征拼接层的输出端的SE模块为目标特征拼接层对应的特征拼接结果的各通道重新分配权值,得到目标特征拼接层对应的新的特征拼接结果。并且,逐级利用第二类二维卷积层和上采样层进行卷积和上采样,得到逐级上采样后的图像特征。
以图3中所示的特征拼接层300为例,将第一输入通道提供的上采样后的图像特征和第二输入通道(即特征拼接层300左侧压缩路径上)提供的下采样后的图像特征拼接并传输给SE模块301。SE模块301对接收到的特征拼接结果启动通道重加权机制(channelreweighting mechanism),通过挤压操作和激励操作获得新的特征拼接结果。并且SE模块301进一步地将新的特征拼接结果传输给后端的第二类二维卷积层302和303,第二类二维卷积层302和303卷积结束后传输给上采样层304,由上采样层上采样出图像特征并进一步传输给特征拼接层305,以此类推,直到扩展路径上最后一个SE模块输出新的特征拼接结果。区别于前几个SE模块末端跟随的层类型,在最后一个SE模块末端跟随有第二类二维卷积层和第三类二维卷积层。在本申请实施例中,第一类二维卷积层和第二类二维卷积层的结构中均包括3×3的卷积层、一个BN层和一个PReLU激活函数。而在第三类二维卷积层中则包括3×3的卷积层、一个BN层和一个Sigmoid函数。如图3所示,第三类二维卷积层位网络末端,即扩展路径末端,因此Sigmoid函数能够用于分类并输出结果,该结果即作为梗死核心分割结果图像。有上述介绍可知,基于位于扩展路径上最后一级特征拼接层的输出端的SE模块生成的新的特征拼接结果,通过两个第二类二维卷积层和一个第三类卷积层,便可以获得梗死核心分割结果图像。图3中在网络末端也示例性地示意出了基于所输入的第一MR-DWI图像组S31和第二MR-DWI图像组S32得到的梗死核心分割结果图像S33。
上述结合图3介绍和说明的分割模型可称为双输入通路的通道重加权 U-net(dual input channel-reweighting U-net,DICRU-net)模型。该模型在经典U-Net模型基础上,通过下采样层的改进实现了有选择的降维;在特征拼接层后加入SE模块,实现了不同层级图像特征的有效融合,减少了特征冗余,避免模型混乱导致分割出错;通过两个图像输入端的三维MR-DWI 图像实现空间信息的充分挖掘。如此,提升了模型分割图像的精确度。另外,以两个图像输入端的权重共享提升模型效率,SE模块也能够使模型加快收敛。如此,提升了模型分割图像的速度。
在可选的实现方式中,为进一步提升模型分割图像的精确度,获得更加精准的目标颅脑的梗死核心分割结果,在本申请实施例中可以在 MR-DWI图像输入至分割模型之前对图像进行预处理。下面介绍一种预处理可选实现方案。
具体地,可以首先采用N4ITK偏置场校正算法校正DWI b1000和ADC 图像的不均匀性。然后,移除1%信号强度最大和最小的图像,并进行线性强度归一化,使得所有图像信号强度处于标准范围,图像间更加均衡,排除噪声。另外,还可以随机采用面内旋转和水平翻转进行数据扩增,防止处理图像时发生过拟合问题。
在MR-DWI图像集合的基础上进行图像处理,可能会产生类别不均衡的问题。类别不均衡指的是:小目标语义分割目标像素和非目标像素数量不均衡的情况,即当待分割图像中目标的像素(正样本,如本文中的梗死核心,在整张图中占比小)比例较小、非目标(负样本,如本文中的背景和其它非梗死核心区域的像素)量较大的情况,此时直接将图像输入模型,得到的分割结果往往不佳。对于以上问题,分割模型的损失函数的选择对分割模型的整体性能至关重要。
在本申请实施例中,采用的损失函数要求能够加快模型收敛,同时还需要解决类别不均衡的问题。本申请实施例提出的分割模型的损失函数糅合了广义Dice损失(Generalized Dice loss,GDL)函数和交叉熵损失 (Cross-entropy loss,CE)函数。该分割模型的损失函数的表达式如下:
Loverall=LGDL(G,P)+λ×LCE(G,P) 公式(1)
其中,λ为根据经验设定的系数,LGDL(G,P)为GDL函数,LCE为CE 函数,G表示标准差,P表示相应的预测概率。另外,为了解决类别不平衡带来的图像分割不准确的问题,本申请实施例中GDL函数给每个类别分配一个自适应权重,从而解决类别不平衡的问题。GDL函数的表达式为:
其中,ε表示正则化常数,C表示类别,N表示像素,gij表示类别j 在第i个像素的标准差,pij表示相应的预测概率值,Wj表示第j类的自适应权重,Wj表达式为:
CE函数的表达式为:
其中,C表示类别,N表示像素,gij表示类别j在第i个像素的标准差,pij表示相应的预测概率值。
在以上公式中,类别C的取值为2,表示分割时具有两种类别,像素分为分割目标的像素和非分割目标的像素。以j=1表示分割目标这一类别,以j=2表示非分割目标这一类别。则W1表示分割目标的像素对应第一自适应权重,W2表示非分割目标的像素对应第二自适应权重。由于LGD函数中,为上述两个类别分别配以不同的自适应权重,因此,能够解决类别不均衡的问题。通过损失函数Loverall提升分割模型在处理图像时的整体性能。并通过糅合LGD函数和CE函数,加快分割模型在训练过程和使用过程中的收敛速度。
以上实施例着重介绍了本申请提供的一种颅脑磁共振弥散加权图像的处理方法。该方法通过一种改进U-net模型网络结构的新型的分割模型,即 DICRU-net模型,提升了对MR-DWI图像的处理性能。具体地,提升了分割的精准度和分割速度。进一步地,本申请实施例还提供了另一种颅脑磁共振弥散加权图像的处理方法。基于前述实施例获得的梗死核心分割结果图像,获得ASPECT评分,从而辅助AIS医学研究和/或供医师结合ASPECT 评分为AIS患者选择适合的治疗方案。下面结合实施例和附图对此方法的实现进行详细说明。
参见图4,该图为本申请实施例提供的另一种颅脑磁共振弥散加权图像的处理方法的流程图。如图4所示的方法包括:
步骤401:获取目标颅脑的磁共振弥散加权MR-DWI图像集合。
步骤402:将MR-DWI图像集合作为分割模型的输入,通过分割模型对MR-DWI图像集合进行处理,得到对目标颅脑的梗死核心分割结果图像。
步骤401-402的实现方式与前述实施例步骤101-102基本相同,因此可参照前述实施例的描述,此处不做赘述。
步骤403:根据梗死核心分割结果图像、脑组织模板图像和ASPECT 图谱获得在目标颅脑的供血分区结果图像。
本步骤的执行目的是将梗死核心分割结果图像中分割出的梗死核心与目标颅脑的供血分区对应起来,以便于后续明确梗死核心对各供血分区的波及情况进行评分。
本申请实施例中,脑组织模板图像来自于医院的影像系统。在一种可能的实现方式中,收集大量的颅脑MR-DWI影像数据,从中挑选出质量较高的图像作为脑组织模板图像。此处质量较高具体可以表现为信噪比较高、清晰度高、边界清晰等,不对具体的挑选标准做限定。
可以由资深的影像科或神经科医师(例如具有丰富的AIS诊断经验的医师)在横断位的脑组织模板图像上勾画出MCA供血分区。在一种可能的实现方式中,可以将MCA供血区分为如下10个分区,包括4个皮层下区:尾状核C、豆状核L、内囊IC、岛叶I,还包括6个皮层区,标志为M1-M6。为便于理解ASPECT图谱,请参照图5A所示的核团层中ASPECT图谱和图5B所示的核团上层中ASPECT图谱。在图5A中示出了颅脑核团层中勾画出的7个供血分区M1、M2、M3、C、L、IC和I。在图5B中示出了颅脑核团上层中勾画出的3个供血分区M4、M5和M6。
需要说明的是,在勾画MCA供血分区时可以在脑组织模板图像的左右两侧分别勾画。AIS通常表现为单侧患病,因此左右两侧一侧为患侧,另一侧为健侧。在后续使用ASPECT图谱时,具体可以使用ASPECT图谱中患侧的供血分区标记。
由于ASPECT图谱是在脑组织模板图像的基础上勾画标记获得的,因此,ASPECT图谱与脑组织模板图像对应(体现为供血分区的位置对应、形态对应、尺寸对应)。
下面结合图6介绍根据梗死核心分割结果图像、脑组织模板图像和 ASPECT图谱获得在目标颅脑的供血分区结果图像的一种可选实现方式。图6为本申请实施例提供的一种获得在目标颅脑的供血分区结果图像的流程图。如图6所示,步骤403具体可以包括:
步骤403a:将梗死核心分割结果图像和脑组织模板图像作为配准模型的输入,通过配准模型获得从脑组织模板图像配准到梗死核心分割结果图像的形变场信息。
在本申请实施例中,通过预先训练好的配准模型获得从脑组织模板图像配准到梗死核心分割结果图像的形变场信息。下面结合图7和图8介绍此配准模型的建立过程和建立方式。图7为本申请实施例提供的一种构建配准模型的流程图。图8为本申请实施例提供的配准模型的构建方式示意图。
如图7和图8所示,在本申请实施例中,首先准备了一批待配准图像。基于待配准图像,利用模拟器生成随机形变场和变换图像。此处,待配准图像对应于后续使用配准模型时所输入的脑组织模板图像。变换图像时根据待配准图像和随机形变场得到的图像,可以理解为变换图像为从待配准图像经历随机形变场之后得到的产物。其后,根据待配准图像和变换图像,通过神经网络获得从待配准图像到变换图像的预测形变场,前述的随机形变场作为此处预测形变场的金标准,在训练神经网络以获得配准模型过程中,采用了形变场损失函数。形变场损失函数为关于预测形变场和随机形变场之间差距的函数。也就是当根据形变场损失函数发现预测形变场和随机形变场之间差距不符合预期时,需要继续训练神经网络的参数,不断修正。此处,预测形变场和随机形变场均对应于该预期训练好的配准模型输出的形变场信息。
此外,结合图7和图8,在本申请实施例中,还根据预测形变场和待配准图像得到预测配准图像。变换图像作为预测配准图像的目标。在训练神经网络以获得配准模型过程中,采用了相似性损失函数。相似性损失函数为关于预测配准图像和变换图像之间差距的函数。也就是当根据相似性损失函数发现预测配准函数与变换图像的差距不符合预期时,需要继续训练神经网络的参数,不断修正。此处,预测配准图像和变换图像对应于输入该预期训练好的配准模型的梗死核心分割结果图像。
结合图8,在本申请实施例训练配准模型时,利用相似性损失函数和形变场损失函数对神经网络进行训练,根据训练结束时神经网络的参数得到配准模型。如此,从两个方面考察了配准模型的训练成效,从而便于获得更加准确的配准用的形变场信息。
在本申请实施例中,配准模型的网络结构中包括空洞卷积和U-net网络 (参见图8神经网络中的编码和解码部分)。相似性损失函数和形变场损失函数集成于神经网络中。
在已训练好配准模型的基础上,将梗死核心分割结果图像和脑组织模板图像作为配准模型的输入,配准模型基于输入内容进行处理,即可获得从脑组织模板图像配准到梗死核心分割结果图像的形变场信息。
步骤403b:基于形变场信息将ASPECT图谱中的供血分区信息映射到梗死核心分割结果图像,得到供血分区结果图像。
可以理解的是,形变场信息反映了脑组织模板图像与梗死核心分割结果图像之间的转换联系。由于ASPECT图谱是在脑组织模板图像的基础上获得的,因此,可以基于步骤403a获得的形变场信息和预先获得的ASPECT 图谱,将形变场信息应用到ASPECT图谱,从而将ASPECT图谱中的供血分区信息映射到步骤402获得的梗死核心分割结果图像中,得到供血分区结果图像。本申请实施例中,形变场信息具体可以通过形变向量场表示。
最终,供血分区结果图像包括梗死核心分割结果图像对应的梗死核心分割标记和ASPECT图谱对应的供血分区标记。梗死核心分割标记示出了分割出的梗死核心的分布,供血分区标记则示出了各供血分区的分布。
步骤404:根据供血分区结果图像获得目标颅脑的ASPECT评分。
在供血分区结果图像中包含梗死核心分割结果图像对应的梗死核心分割标记和ASPECT图谱对应的供血分区标记。在此基础上,本申请提供了一种步骤404的可选实现方式。参见图9,该图为本申请实施例提供的一种获得目标颅脑ASPECT评分的流程图。如图9所示,此过程包括如下步骤。
步骤404a:根据目标供血分区的标记和梗死核心分割标记获得目标供血分区中梗死核心所占的体积比。
目标供血分区为供血分区结果图像中标记的任一供血分区。对于每一个供血分区,获得梗死评分的方法均可以参照步骤404a-404d的描述。由于梗死核心分割标记圈定了梗死核心的分布范围,目标供血分区的标记圈定了目标供血分区的分布范围,因此基于上述两个标记的交集在目标供血分区的范围即可以确定出目标供血分区中梗死核心所占的体积比。之所以获取体积比,是考虑到三维信息比二维的面积比更加精确。
依据前述实施例提供的方法,能够以分割模型获得梗死核心分割结果图像,并通过映射ASPECT图谱得到供血分区结果图像。每利用图3所示的分割模型一次,便可以获得一层梗死核心分割结果图像。在实际应用中,梗死核心不一定只在一层图像上,因此图3所示分割模型的使用可能迭代多次,得到多层梗死核心分割结果图像,直至把目标颅脑中三维分布的梗死核心分割完。可见,所以最终分割的梗死核心可能分布于多层梗死核心分割结果图像。类似地,在多层梗死核心分割结果图像基础上相应可以获得多层供血分区结果图像。具体层数由梗死核心所在的层数确定。
如此,基于多层梗死核心分割结果图像构建出三维的梗死核心,多层供血分区结果图像构建出三维的多个供血分区。为获得目标供血分区中梗死核心所占的体积比,可以计算出梗死核心在目标供血分区中所占的像素个数,以及目标供血分区所占的像素个数,上述两者各自所占像素个数分别乘以像素体积,再做除法运算,即可以得到体积比。需要说明的是,三维的每个像素的体积是固定的,因此也可以直接将上述两个像素个数相除,将除法运算结果作为目标供血分区中梗死核心所占的体积比体积比。
步骤404b:获得目标供血分区的影像组学特征。
目前已有的技术中,ASPECT评分通常是人为执行的。即便是自动评分,一般而言也是设定阈值,基于阈值实现评分的二分类,将颅脑的评分粗糙的划分成高分或者低分。因此很难实现精确评分。本申请实施例中为了获得更加精确可靠的颅脑ASPECT评分,在初始阶段便获得目标供血分区的影像组学特征,以提取图像的高维影像特征,充分挖掘图像信息。
步骤404c:根据目标供血分区中梗死核心所占的体积比和目标供血分区的影像组学特征,构建目标供血分区对应的影像特征向量。
影像组学特征通常是利用人工智能算法高通量地提取出来的,可以反映组织、细胞甚至基因水平的信息。在一种可能的实现方式中,影像组学特征是从影像中提取的D维度的特征向量(D为正整数),与体积比进行特征拼接后形成新的D+1维度的特征向量作为影像特征向量。或者,在另一种可能的实现方式中,D维度影像组学特征筛选出来D’维度特征后(D’为小于D的正整数),与体积比进行特征拼接成D’+1维度的特征向量作为影像特征向量。
影像特征向量中糅合了目标供血分区中梗死核心所占的体积比以及目标供血分区的影像组学特征,在评分时考虑到更多的图像信息辅助提升 ASPECT评分的精确性。下面结合步骤404d描述目标供血分区对应的影像特征向量的用途。
步骤404d:根据目标供血分区对应的影像特征向量获得目标供血分区的梗死评分。
在本申请中,逐个获得每一个供血分区的梗死评分。以目标供血分区为例,将目标供血分区对应的影像特征向量作为评分模型的输入,通过评分模型得到目标供血分区的梗死评分。该评分模型为预先训练得到的,具备基于某一供血分区的影像特征向量实现该供血分区评估ASPECT评分的功能。具体实现时,评分模型能够基于影像特征向量判断目标供血分区是否异常,如果异常则该供血分区为梗死核心区域,否则为正常区域。当评分模型判定目标供血分区为梗死核心区域,评分模型输出的目标供血分区的梗死评分为0;当评分模型判定目标供血分区为正常区域,评分模型输出的目标供血分区的梗死评分为1。也就是说,对单个供血分区进行评分时,只有0或1两种结果,分别对应于梗死核心区域或正常区域。
在一种可选的实现方式中,评分模型为通过以下方式获得的,参见图 10所示的评分模型建立方法流程图:
S1001:获得样本数据集,样本数据集包括样本供血分区对应的样本影像特征向量;样本影像特征向量的标签为对应的样本供血分区的梗死评分。
在可选实现方式中,以两位资深神经学家独立完成的、连续两次的人工评分的平均值为样本影像特征向量的标签。
S1002:将样本数据集划分为训练集和测试集。
在可选实现方式中,采用留一法(leave-one-out)交叉验证,从样本数据集中划分训练集和测试集。
S1003:将训练集中的样本影像特征向量输入待训练的评分模型中,根据待训练的评分模型预测出的输出相对于输入的标签的第一误差评估待训练的评分模型的预测效果。
可选地,待训练的评分模型可以为决策树模型,决策树模型的根节点特征、内部节点特征和叶节点特征是以信息增益率作为标准划分得到的。以信息增益率为标准划分出决策树模型的根节点特征、内部节点特征和叶节点特征属于比较成熟的技术,故对于待训练的决策树模型的建立过程不做赘述。
待训练的评分模型预测出的输出相对于输入的标签的第一误差为当前该待训练的评分模型的预测误差。
S1004:根据第一误差对待训练的评分模型进行调整,并在调整后利用训练集持续训练,直至待训练的评分模型的第一误差满足第一预设条件,训练完成得到待测试的评分模型。
第一误差满足第一预设条件,表示待训练的评分模型预测出的评分已经满足预期。
S1005:将测试集中的样本影像特征向量输入待测试的评分模型中,根据待测试的评分模型预测出的输出相对于输入的标签的第二误差评估待测试的评分模型的预测效果。
待测试的评分模型预测出的输出相对于输入的标签的第二误差为当前待测试的评分模型的预测误差。
S1006:根据第二误差对待测试的评分模型进行调整,并在调整后利用测试集持续训练,直至待测试的评分模型的第二误差满足第二预设条件,测试完成得到评分模型。
第二误差满足第二预设条件,表示待测试的评分模型预测出的评分已经满足预期。
步骤404e:根据供血分区结果图像中标记的所有供血分区的梗死评分获得目标颅脑的ASPECT评分。
通过将10个供血分区的梗死评分相加,计算最终的ASPECT评分便可作为目标颅脑的ASPECT评分。实际应用中,可以根据使用需求获取执行以上方案获得的目标颅脑的ASPECT评分。此外还可以将步骤404e得到的 ASPECT评分输出。具体输出方式不做限制,例如可以为语音播报还可以显示到影像设备的屏幕显示的界面上。
例如一个颅脑的ASPECT评分共计10分,梗死核心每累及一个供血分区即减去1分。正常脑的ASPECT评分为10分,MCA供血区广泛梗死则为0分。
以上实施例提供的颅脑磁共振弥散加权图像的处理方法,实现了基于颅脑MR-DWI图像的自动化ASPECT评分。通过三个环节1)分割模型对图像的处理、2)以配准模型得到的形变场信息为基础,基于ASPECT图谱对供血分区标记实现映射和3)糅合体积比和影像组学特征基于评分模型的 ASPECT评分,显著提高ASPECT评分的准确性。
由于平扫CT图像信噪比较低、且具有时间依赖性,其超早期缺血性病灶检出率较低,因此基于平扫CT评估ASPECT评分的可靠性存在一定争议。而MR-DWI图像信噪比较高、对早期缺血组织更敏感、且无电离辐射损伤,因此基于MR-DWI的ASPECT评分能更精准地判断缺血脑组织的程度。目前仍缺乏基于MR-DWI图像自动、准确计算ASPECT评分的方法。本申请创新性地提出了一种面向AIS患者颅脑的MR-DWI图像处理方案和自动化执行ASPECT评分的方案,弥补基于MR-DWI人为评分以及基于平扫CT评分的不足,综合提高ASPECT评分的准确性和观察者间一致性。
此外,本申请技术方案中,基于深度学习的方法,构建全新的梗死核心分割模型,加快模型训练和收敛的同时,显著优化分割结果。在本申请中以U-Net网络为基础,通过调整3D图像输入、两个图像输入端权值共享、结合2D-3D卷积模块以及用步长为2的卷积层替代池化下采样,构建了全新的DICRU-Net分割模型。此外,考虑到低层级特征和高层级特征级联后各特征图的重要性相同,可能导致模型的混乱,本发明利用通道重加权机制,通过在各特征拼接层后添加SE模块权衡并重新加权多个通道的特征,能够有效防止模型的混乱,提升对梗死核心的识别效果和分割效果。同时有效避免梯度消失、加快模型训练和收敛。与经典U-Net分割模型相比, DICRU-Net模型训练和收敛的速度更快、分割性能更佳。
本申请还基于各供血分区的影像组学特征以及核心梗死在供血分区的体积比,构建全新的机器学习评分模型,支持精确计算各供血分区的梗死评分。基于各供血分区的影像组学特征,并结合各分区的梗死核心体积比构建各分区的影像特征向量,以此建立各供血分区的机器学习评分模型,支持自动化、标准化计算各供血分区的梗死评分。与基于单一阈值的传统评分方法相比,能够充分挖掘各供血分区的图像信息,使对颅脑的ASPECT 评分结果更可靠。此外,与仅支持粗略区分高分区(7-10分)和低分区(1-6 分)的评分方法相比,本申请训练出的机器学习评分模型能够基于各分区的实际情况,输出1-10范围内的真实ASPECT评分,评分结果更精确。
基于前述实施例提供的方法,相应地,本申请还提供了一种颅脑磁共振弥散加权图像的处理装置。以下结合实施例和附图对该装置的具体实现进行说明。
参见图11,该图为本申请实施例提供的一种颅脑磁共振弥散加权图像的处理装置1100的结构示意图。如图11所示的颅脑磁共振弥散加权图像的处理装置1100包括:
图像获取模块1101,用于获取目标颅脑的磁共振弥散加权MR-DWI图像集合;
模型处理模块1102,用于将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像;所述分割模型包括:压缩路径和扩展路径,所述MR-DWI图像集合从所述压缩路径的始端输入,所述梗死核心分割结果图像自所述扩展路径的末端输出;
其中,所述扩展路径包括:特征拼接层和位于所述特征拼接层的输出端的挤压与激励SE模块;所述特征拼接层用于拼接来自所述压缩路径和所述扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;所述SE模块用于为所述特征拼接结果的各通道重新分配权值,并依据所述特征拼接结果的各通道被重新分配的权值和所述特征拼接结果加权得到新的特征拼接结果;所述新的特征拼接结果作为生成所述梗死核心分割结果图像的依据。
可选地,该装置1100还包括:
分区模块1103,用于根据所述梗死核心分割结果图像、脑组织模板图像和ASPECT图谱获得在所述目标颅脑的供血分区结果图像;所述供血分区结果图像包括所述梗死核心分割结果图像对应的梗死核心分割标记和所述ASPECT图谱对应的供血分区标记;
评分模块1104,用于根据所述供血分区结果图像获得所述目标颅脑的 ASPECT评分。
可选地,所述评分模块1104,包括:
体积比获取单元,用于根据目标供血分区的标记和所述梗死核心分割标记获得所述目标供血分区中梗死核心所占的体积比;所述目标供血分区为所述供血分区结果图像中标记的任一供血分区;
影像组学特征获取单元,用于获得所述目标供血分区的影像组学特征;
影像特征向量获取单元,用于根据所述目标供血分区中梗死核心所占的体积比和所述目标供血分区的影像组学特征,构建所述目标供血分区对应的影像特征向量;
分区评分获取单元,用于根据所述目标供血分区对应的影像特征向量获得所述目标供血分区的梗死评分;
整体评分获取单元,用于根据所述供血分区结果图像中标记的所有供血分区的梗死评分获得所述目标颅脑的ASPECT评分。
可选地,所述MR-DWI图像集合包括:第一MR-DWI图像组和第二 MR-DWI图像组;所述第一MR-DWI图像组和所述第二MR-DWI图像组以不同方式展示所述目标颅脑的信息;
所述压缩路径的始端包括两个图像输入端,所述两个图像输入端分别对应所述第一MR-DWI图像组和所述第二MR-DWI图像组。
可选地,所述第一MR-DWI图像组包括:目标层的b1000图像和所述目标层的相邻两层的b1000图像;所述第二MR-DWI图像组包括:所述目标层的表观弥散系数ADC图像和所述目标层的相邻两层的ADC图像。
可选地,所述压缩路径包括:三维卷积层、特征拼接重整层、第一类二维卷积层和下采样层;所述扩展路径还包括:第二类二维卷积层和上采样层;目标特征拼接层包括第一输入通道和第二输入通道,其中所述第一输入通道用于输入所述目标特征拼接层的前一级上采样后的图像特征,所述第二输入通道用于输入与所述目标特征拼接层的前一级上采样后的图像特征具有相同分辨率的下采样后的图像特征;所述目标特征拼接层为所述扩展路径上的任意一个特征拼接层;
所述模型处理模块1102用于:
在所述压缩路径上,通过所述三维卷积层提取所述第一MR-DWI图像组的三维图像特征和所述第二MR-DWI图像组的三维图像特征;通过所述特征拼接重整层对所述第一MR-DWI图像组的三维图像特征和所述第二 MR-DWI图像组的三维图像特征进行拼接并重整,获得二维图像特征;基于所述二维图像特征,逐级利用所述第一类二维卷积层和所述下采样层进行卷积和下采样,得到逐级下采样后的图像特征;
在所述扩展路径上,通过所述目标特征拼接层对所述第一输入通道和所述第二输入通道的图像特征进行特征拼接得到所述目标特征拼接层对应的特征拼接结果;通过位于所述目标特征拼接层的输出端的SE模块为所述目标特征拼接层对应的特征拼接结果的各通道重新分配权值,得到目标特征拼接层对应的新的特征拼接结果;以及,逐级利用所述第二类二维卷积层和所述上采样层进行卷积和上采样,得到逐级上采样后的图像特征;基于位于所述扩展路径上最后一级特征拼接层的输出端的SE模块生成的新的特征拼接结果获得所述梗死核心分割结果图像。
可选地,所述两个图像输入端在所述分割模型中权重共享。
可选地,所述分割模型的损失函数包括:广义Dice损失GDL函数和交叉熵损失CE函数;所述GDL函数中分割目标的像素对应第一自适应权重,非分割目标的像素对应第二自适应权重。
可选地,所述分区模块1103,包括:
配准单元,用于将所述梗死核心分割结果图像和所述脑组织模板图像作为配准模型的输入,通过所述配准模型获得从所述脑组织模板图像配准到所述梗死核心分割结果图像的形变场信息;
映射单元,用于基于所述形变场信息将所述ASPECT图谱中的供血分区信息映射到所述梗死核心分割结果图像,得到所述供血分区结果图像;所述ASPECT图谱和所述脑组织模板图像匹配。
可选地,装置1100还包括:第一训练模块1105,用于训练获得所述配准模型。第一训练模块1105包括:
生成单元,用于基于待配准图像,利用模拟器生成随机形变场和变换图像;所述待配准图像对应于所述脑组织模板图像;
形变场预测单元,用于根据所述待配准图像和所述变换图像,获得从所述待配准图像到所述变换图像的预测形变场;所述预测形变场和所述随机形变场对应于所述形变场信息,其中,所述随机形变场作为所述预测形变场的金标准;
配准图像预测单元,用于根据所述预测形变场和所述待配准图像得到预测配准图像;所述预测配准图像和所述变换图像对应于所述梗死核心分割结果图像,其中,所述变换图像作为所述预测配准图像的目标;
第一训练单元,用于利用相似性损失函数和形变场损失函数对神经网络进行训练,根据训练结束时所述神经网络的参数得到所述配准模型;
所述相似性损失函数为关于所述预测配准图像和所述变换图像之间差距的函数;所述形变场损失函数为关于所述预测形变场和所述随机形变场之间差距的函数。
可选地,所述分区评分获取单元,用于将所述目标供血分区对应的影像特征向量作为评分模型的输入,通过所述评分模型得到所述目标供血分区的梗死评分;当所述评分模型判定所述目标供血分区为梗死核心区域,所述评分模型输出的所述目标供血分区的梗死评分为0;当所述评分模型判定所述目标供血分区为正常区域,所述评分模型输出的所述目标供血分区的梗死评分为1。
可选地,装置1100还包括:第二训练模块1106,用于训练获得所述评分模型。第二训练模块1106包括:
样本获取单元,用于获得样本数据集,所述样本数据集包括样本供血分区对应的样本影像特征向量;所述样本影像特征向量的标签为对应的样本供血分区的梗死评分;
样本划分单元,用于将所述样本数据集划分为训练集和测试集;
第二训练单元,用于将所述训练集中的样本影像特征向量输入待训练的评分模型中,根据所述待训练的评分模型预测出的输出相对于输入的标签的第一误差评估所述待训练的评分模型的预测效果;所述待训练的评分模型为决策树模型,所述决策树模型的根节点特征、内部节点特征和叶节点特征是以信息增益率作为标准划分得到的;
第一调整单元,用于根据所述第一误差对所述待训练的评分模型进行调整,并在调整后利用所述训练集持续训练,直至所述待训练的评分模型的第一误差满足第一预设条件,训练完成得到待测试的评分模型;
测试单元,用于将所述测试集中的样本影像特征向量输入所述待测试的评分模型中,根据所述待测试的评分模型预测出的输出相对于输入的标签的第二误差评估所述待测试的评分模型的预测效果;
第二调整单元,用于根据所述第二误差对所述待测试的评分模型进行调整,并在调整后利用所述测试集持续训练,直至所述待测试的评分模型的第二误差满足第二预设条件,测试完成得到所述评分模型。
基于前述实施例提供的颅脑磁共振弥散加权图像的处理方法和装置,相应地,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文提及的颅脑磁共振弥散加权图像的处理方法中的部分或全部步骤。
基于前述实施例提供的颅脑磁共振弥散加权图像的处理方法、装置和计算机可读存储介质,本申请还提供了一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现前述实施例提供的颅脑磁共振弥散加权图像的处理方法和装置,
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (15)
1.一种颅脑磁共振弥散加权图像的处理方法,其特征在于,包括:
获取目标颅脑的磁共振弥散加权MR-DWI图像集合;
将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像;所述分割模型包括:压缩路径和扩展路径,所述MR-DWI图像集合从所述压缩路径的始端输入,所述梗死核心分割结果图像自所述扩展路径的末端输出;
其中,所述扩展路径包括:特征拼接层和位于所述特征拼接层的输出端的挤压与激励SE模块;所述特征拼接层用于拼接来自所述压缩路径和所述扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;所述SE模块用于为所述特征拼接结果的各通道重新分配权值,并依据所述特征拼接结果的各通道被重新分配的权值和所述特征拼接结果加权得到新的特征拼接结果;所述新的特征拼接结果作为生成所述梗死核心分割结果图像的依据;
所述SE模块包括第一路径和第二路径,其中所述第一路径用于传输特征拼接层输出的特征拼接结果,所述第二路径包括依次连接的全局平均池化层、第一全连接层、整流线性单元、第二全连接层和sigmoid函数,所述sigmoid函数处理结束后得到为各通道重新分配的权值。
2.根据权利要求1所述的方法,其特征在于,在所述得到对所述目标颅脑的梗死核心分割结果图像之后,所述方法还包括:
根据所述梗死核心分割结果图像、脑组织模板图像和ASPECT图谱获得在所述目标颅脑的供血分区结果图像;所述供血分区结果图像包括所述梗死核心分割结果图像对应的梗死核心分割标记和所述ASPECT图谱对应的供血分区标记;
根据所述供血分区结果图像获得所述目标颅脑的ASPECT评分。
3.根据权利要求2所述的方法,其特征在于,所述根据所述供血分区结果图像获得所述目标颅脑的ASPECT评分,包括:
根据目标供血分区的标记和所述梗死核心分割标记获得所述目标供血分区中梗死核心所占的体积比;所述目标供血分区为所述供血分区结果图像中标记的任一供血分区;
获得所述目标供血分区的影像组学特征;
根据所述目标供血分区中梗死核心所占的体积比和所述目标供血分区的影像组学特征,构建所述目标供血分区对应的影像特征向量;
根据所述目标供血分区对应的影像特征向量获得所述目标供血分区的梗死评分;
根据所述供血分区结果图像中标记的所有供血分区的梗死评分获得所述目标颅脑的ASPECT评分。
4.根据权利要求1所述的方法,其特征在于,所述MR-DWI图像集合包括:第一MR-DWI图像组和第二MR-DWI图像组;所述第一MR-DWI图像组和所述第二MR-DWI图像组以不同方式展示所述目标颅脑的信息;
所述压缩路径的始端包括两个图像输入端,所述两个图像输入端分别对应所述第一MR-DWI图像组和所述第二MR-DWI图像组。
5.根据权利要求4所述的方法,其特征在于,所述第一MR-DWI图像组包括:目标层的b1000图像和所述目标层的相邻两层的b1000图像;所述第二MR-DWI图像组包括:所述目标层的表观弥散系数ADC图像和所述目标层的相邻两层的ADC图像。
6.根据权利要求5所述的方法,其特征在于,所述压缩路径包括:三维卷积层、特征拼接重整层、第一类二维卷积层和下采样层;所述扩展路径还包括:第二类二维卷积层和上采样层;目标特征拼接层包括第一输入通道和第二输入通道,其中所述第一输入通道用于输入所述目标特征拼接层的前一级上采样后的图像特征,所述第二输入通道用于输入与所述目标特征拼接层的前一级上采样后的图像特征具有相同分辨率的下采样后的图像特征;所述目标特征拼接层为所述扩展路径上的任意一个特征拼接层;
所述将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像,包括:
在所述压缩路径上,通过所述三维卷积层提取所述第一MR-DWI图像组的三维图像特征和所述第二MR-DWI图像组的三维图像特征;通过所述特征拼接重整层对所述第一MR-DWI图像组的三维图像特征和所述第二MR-DWI图像组的三维图像特征进行拼接并重整,获得二维图像特征;基于所述二维图像特征,逐级利用所述第一类二维卷积层和所述下采样层进行卷积和下采样,得到逐级下采样后的图像特征;
在所述扩展路径上,通过所述目标特征拼接层对所述第一输入通道和所述第二输入通道的图像特征进行特征拼接得到所述目标特征拼接层对应的特征拼接结果;通过位于所述目标特征拼接层的输出端的SE模块为所述目标特征拼接层对应的特征拼接结果的各通道重新分配权值,得到目标特征拼接层对应的新的特征拼接结果;以及,逐级利用所述第二类二维卷积层和所述上采样层进行卷积和上采样,得到逐级上采样后的图像特征;基于位于所述扩展路径上最后一级特征拼接层的输出端的SE模块生成的新的特征拼接结果获得所述梗死核心分割结果图像。
7.根据权利要求4所述的方法,其特征在于,所述两个图像输入端在所述分割模型中权重共享。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述分割模型的损失函数包括:广义Dice损失GDL函数和交叉熵损失CE函数;所述GDL函数中分割目标的像素对应第一自适应权重,非分割目标的像素对应第二自适应权重。
9.根据权利要求2所述的方法,其特征在于,所述根据所述梗死核心分割结果图像、脑组织模板图像和ASPECT图谱获得在所述目标颅脑的供血分区结果图像,包括:
将所述梗死核心分割结果图像和所述脑组织模板图像作为配准模型的输入,通过所述配准模型获得从所述脑组织模板图像配准到所述梗死核心分割结果图像的形变场信息;
基于所述形变场信息将所述ASPECT图谱中的供血分区信息映射到所述梗死核心分割结果图像,得到所述供血分区结果图像;所述ASPECT图谱和所述脑组织模板图像匹配。
10.根据权利要求9所述的方法,其特征在于,所述配准模型为通过以下操作获得:
基于待配准图像,利用模拟器生成随机形变场和变换图像;所述待配准图像对应于所述脑组织模板图像;
根据所述待配准图像和所述变换图像,获得从所述待配准图像到所述变换图像的预测形变场;所述预测形变场和所述随机形变场对应于所述形变场信息,其中,所述随机形变场作为所述预测形变场的金标准;
根据所述预测形变场和所述待配准图像得到预测配准图像;所述预测配准图像和所述变换图像对应于所述梗死核心分割结果图像,其中,所述变换图像作为所述预测配准图像的目标;
利用相似性损失函数和形变场损失函数对神经网络进行训练,根据训练结束时所述神经网络的参数得到所述配准模型;
所述相似性损失函数为关于所述预测配准图像和所述变换图像之间差距的函数;所述形变场损失函数为关于所述预测形变场和所述随机形变场之间差距的函数。
11.根据权利要求3所述的方法,其特征在于,所述根据所述目标供血分区对应的影像特征向量获得所述目标供血分区的梗死评分,包括:
将所述目标供血分区对应的影像特征向量作为评分模型的输入,通过所述评分模型得到所述目标供血分区的梗死评分;当所述评分模型判定所述目标供血分区为梗死核心区域,所述评分模型输出的所述目标供血分区的梗死评分为0;当所述评分模型判定所述目标供血分区为正常区域,所述评分模型输出的所述目标供血分区的梗死评分为1。
12.根据权利要求11所述的方法,其特征在于,所述评分模型为通过以下方式获得的:
获得样本数据集,所述样本数据集包括样本供血分区对应的样本影像特征向量;所述样本影像特征向量的标签为对应的样本供血分区的梗死评分;
将所述样本数据集划分为训练集和测试集;
将所述训练集中的样本影像特征向量输入待训练的评分模型中,根据所述待训练的评分模型预测出的输出相对于输入的标签的第一误差评估所述待训练的评分模型的预测效果;所述待训练的评分模型为决策树模型,所述决策树模型的根节点特征、内部节点特征和叶节点特征是以信息增益率作为标准划分得到的;
根据所述第一误差对所述待训练的评分模型进行调整,并在调整后利用所述训练集持续训练,直至所述待训练的评分模型的第一误差满足第一预设条件,训练完成得到待测试的评分模型;
将所述测试集中的样本影像特征向量输入所述待测试的评分模型中,根据所述待测试的评分模型预测出的输出相对于输入的标签的第二误差评估所述待测试的评分模型的预测效果;
根据所述第二误差对所述待测试的评分模型进行调整,并在调整后利用所述测试集持续训练,直至所述待测试的评分模型的第二误差满足第二预设条件,测试完成得到所述评分模型。
13.一种颅脑磁共振弥散加权图像的处理装置,其特征在于,包括:
图像获取模块,用于获取目标颅脑的磁共振弥散加权MR-DWI图像集合;
模型处理模块,用于将所述MR-DWI图像集合作为分割模型的输入,通过所述分割模型对所述MR-DWI图像集合进行处理,得到对所述目标颅脑的梗死核心分割结果图像;所述分割模型包括:压缩路径和扩展路径,所述MR-DWI图像集合从所述压缩路径的始端输入,所述梗死核心分割结果图像自所述扩展路径的末端输出;
其中,所述扩展路径包括:特征拼接层和位于所述特征拼接层的输出端的挤压与激励SE模块;所述特征拼接层用于拼接来自所述压缩路径和所述扩展路径且具有相同分辨率的不同层级图像特征,得到特征拼接结果;所述SE模块用于为所述特征拼接结果的各通道重新分配权值,并依据所述特征拼接结果的各通道被重新分配的权值和所述特征拼接结果加权得到新的特征拼接结果;所述新的特征拼接结果作为生成所述梗死核心分割结果图像的依据;
所述SE模块包括第一路径和第二路径,其中所述第一路径用于传输特征拼接层输出的特征拼接结果,所述第二路径包括依次连接的全局平均池化层、第一全连接层、整流线性单元、第二全连接层和sigmoid函数,所述sigmoid函数处理结束后得到为各通道重新分配的权值。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-12中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729143.6A CN113538348B (zh) | 2021-06-29 | 2021-06-29 | 一种颅脑磁共振弥散加权图像的处理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729143.6A CN113538348B (zh) | 2021-06-29 | 2021-06-29 | 一种颅脑磁共振弥散加权图像的处理方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538348A CN113538348A (zh) | 2021-10-22 |
CN113538348B true CN113538348B (zh) | 2024-03-26 |
Family
ID=78126325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110729143.6A Active CN113538348B (zh) | 2021-06-29 | 2021-06-29 | 一种颅脑磁共振弥散加权图像的处理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538348B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205294B (zh) * | 2022-09-16 | 2022-11-22 | 杭州脉流科技有限公司 | 一种基于多模型融合的缺血性脑卒中梗死评估装置和方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467346B1 (ko) * | 2013-08-30 | 2014-12-02 | 연세대학교 원주산학협력단 | 영상영역확장을 위한 자기공명영상 정합 및 합성 방법 |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
CN110223285A (zh) * | 2019-06-13 | 2019-09-10 | 中南大学湘雅二医院 | 基于动物迁移和神经网络模型的影像结果预测方法及系统 |
CN110533668A (zh) * | 2019-07-30 | 2019-12-03 | 北京理工大学 | 基于统计约束损失函数的脑梗塞病灶自动分割方法 |
WO2020077202A1 (en) * | 2018-10-12 | 2020-04-16 | The Medical College Of Wisconsin, Inc. | Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs |
CN111724397A (zh) * | 2020-06-18 | 2020-09-29 | 上海应用技术大学 | 一种颅脑ct图像出血区域自动分割方法 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008041946A1 (en) * | 2006-10-03 | 2008-04-10 | Agency For Science, Technology And Research | Segmenting infarct in diffusion-weighted imaging volume |
US11436732B2 (en) * | 2019-03-12 | 2022-09-06 | The General Hospital Corporation | Automatic segmentation of acute ischemic stroke lesions in computed tomography data |
US11331056B2 (en) * | 2019-09-30 | 2022-05-17 | GE Precision Healthcare LLC | Computed tomography medical imaging stroke model |
-
2021
- 2021-06-29 CN CN202110729143.6A patent/CN113538348B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467346B1 (ko) * | 2013-08-30 | 2014-12-02 | 연세대학교 원주산학협력단 | 영상영역확장을 위한 자기공명영상 정합 및 합성 방법 |
WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
WO2020077202A1 (en) * | 2018-10-12 | 2020-04-16 | The Medical College Of Wisconsin, Inc. | Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs |
CN110223285A (zh) * | 2019-06-13 | 2019-09-10 | 中南大学湘雅二医院 | 基于动物迁移和神经网络模型的影像结果预测方法及系统 |
CN110533668A (zh) * | 2019-07-30 | 2019-12-03 | 北京理工大学 | 基于统计约束损失函数的脑梗塞病灶自动分割方法 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN111724397A (zh) * | 2020-06-18 | 2020-09-29 | 上海应用技术大学 | 一种颅脑ct图像出血区域自动分割方法 |
Non-Patent Citations (3)
Title |
---|
Fully automatic acute ischemic lesion segmentation in DWI using convolutional neural networks;Liang Chen et al.;NeuroImage:Clinical;第15卷;全文 * |
基于活动轮廓模型的脑梗死图像分割;李智;陈业航;冯宝;张绍荣;李昌林;陈相猛;刘壮盛;龙晚生;;华南理工大学学报(自然科学版)(第05期);全文 * |
深度迭代融合的脑部磁共振图像颅骨去除网络;姚发展;李智;王丽会;程欣宇;张健;;中国图象图形学报(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113538348A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
CN112116605B (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN110503187B (zh) | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 | |
CN110443867B (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
CN109447976B (zh) | 一种基于人工智能的医学图像分割方法及系统 | |
CN110111313A (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
CN109409416A (zh) | 特征向量降维方法和医学图像识别方法、装置及存储介质 | |
CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
Zhu et al. | Arbitrary scale super-resolution for medical images | |
CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
CN110853048A (zh) | 基于粗、精训练的mri图像分割方法、装置和存储介质 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN114298234A (zh) | 脑部医学影像分类方法、装置、计算机设备和存储介质 | |
CN113538348B (zh) | 一种颅脑磁共振弥散加权图像的处理方法及相关产品 | |
CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
Nizamani et al. | Advance Brain Tumor segmentation using feature fusion methods with deep U-Net model with CNN for MRI data | |
CN113436128B (zh) | 一种双鉴别器多模态mr图像融合方法、系统及终端 | |
CN113269774A (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
CN112489048A (zh) | 一种基于深度网络的视神经自动分割方法 | |
CN114463320B (zh) | 一种磁共振成像脑胶质瘤idh基因预测方法及系统 | |
Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |