CN115239688B - 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 - Google Patents
基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 Download PDFInfo
- Publication number
- CN115239688B CN115239688B CN202210950084.XA CN202210950084A CN115239688B CN 115239688 B CN115239688 B CN 115239688B CN 202210950084 A CN202210950084 A CN 202210950084A CN 115239688 B CN115239688 B CN 115239688B
- Authority
- CN
- China
- Prior art keywords
- features
- image
- module
- magnetic resonance
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010027476 Metastases Diseases 0.000 title claims abstract description 36
- 210000004556 brain Anatomy 0.000 title claims abstract description 36
- 230000009401 metastasis Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000035945 sensitivity Effects 0.000 claims abstract description 9
- 238000012952 Resampling Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 238000013144 data compression Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 206010028980 Neoplasm Diseases 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000003313 weakening effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 17
- 206010059282 Metastases to central nervous system Diseases 0.000 description 17
- 238000001514 detection method Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于磁共振对比增强3D‑T1WI图像的脑转移瘤识别方法与系统，识别系统包括数据收集模块、数据预处理模块、深度神经网络模块和数据压缩模块；数据收集模块用于收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D‑T1WI数据；数据预处理模块将所有DICOM存储格式的原始图像数据转换为NIFTI格式；将所有图像重采样至相同的宽度、相同的高度及相同的体素大小；通过保持高分辨率的特征以保证信息的完整性，从而提高病灶的预测准确度；通过一个基于门控机制的注意力模块融合网络结构中不同层次的信息，使网络在具备分辨背景信息能力的同时对脑转移瘤保持高度的敏感性。
Description
技术领域
本申请涉及脑转移瘤图像分析领域，特别地涉及一种基于磁共振对比增强3D-T1WI图像的脑转移瘤识别方法与系统。
背景技术
作为成年人最常见的颅内肿瘤及全身各器官和系统恶性肿瘤最严重的颅内并发症，脑转移瘤的出现预示着癌症患者的不良预后，其治疗方案与病灶的数量、大小、位置等密切相关。得益于良好的软组织分辨率及更高的病灶检出灵敏度，MRI已成为脑转移瘤诊断及纵向随访中首选影像学检查方法。然而，随着发病率的不断增加，脑转移瘤的MRI检测任务对于工作量与日俱增的放射科医生来说是费力的，特别是当放射科医生需要从数百张图像中找出数量有限的微小脑转移瘤时，该项工作显得尤为困难。除此之外，立体定向放射治疗过程中，肿瘤靶区的手动勾画对于放疗科医生来说相当繁琐、耗时，且勾画者间一致性较差。脑转移瘤的准确识别和分割对患者的合理治疗及预后判断至关重要，考虑到国内严重不协调的医患比例及医生逐渐增长的工作负荷，目前迫切需要一个计算机辅助系统帮助放射科和放疗科医生检测、分割脑转移瘤。
计算机领域的高速发展使得多种机器学习算法被应用于医疗行业，并在一些病灶识别或分类任务中展现出了与医生相当甚至更好的表现。用于自动检测或分割脑转移瘤的传统机器学习算法通常基于模板匹配或信号强度，值得注意的是，依赖过多预先提供的特征以及过度训练可能导致模型对于训练集以外的数据失去泛化能力。与传统机器学习算法不同，基于深度学习算法的模型可直接从输入图像中提取最相关特征，此外，由于所需样本量较大以及数据增强等方法的应用，深度学习算法在一定程度上可以降低过拟合的风险，近年来备受关注。既往已有研究将深度学习算法运用于脑转移瘤的检测和分割任务，所报道的病灶检出灵敏度范围约73％-96％，Dice相似系数为0.67 to 0.85，多数研究局限于样本量小、病灶相对较大、微小病灶的检测和分割效果差、病灶检测与分割效果异质性大、缺乏系统性测试因而难以转化到临床等。因此，运用深度学习网络模型准确识别(特别是微小病灶的识别)和分割脑转移瘤的问题有待解决。
发明内容
针对上述现有技术中的问题，本申请提出了一种基于磁共振对比增强3D-T1WI图像的脑转移瘤识别方法，包括：
步骤S1、收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D-T1WI数据；
步骤S2、数据预处理：
S21、将所有DICOM存储格式的原始图像数据转换为NIFTI格式；
S22、将所有图像重采样至相同的宽度、相同的高度及相同的体素大小；
S23、通过一个基于伽马校正的标准化方法将图像标准化处理，使体素信号的均值为0、方差为0，使样本间信号强度分布一致；在将图像信号中心转换为0之后，通过类伽马校正方法放大高强度肿瘤信号的区间，以保证网络结构对所有MRI图像的灵敏度均相同；去除磁共振图像最大的0.05％强度，再对原始图像进行基于伽马的标准化处理，设给定输入图像x，具体处理方法如下：
其中xmax表示最大值，xstd表示x的标准差，γ表示伽马系数，γ被设置为大于1以放大高强度信号的取值区间；
步骤S3、GHR-CNN模型构建：
基于深度神经网络提取不同层次的特征，结合高低层次特征生成一个‘门’，通过‘门’在高分辨率条件下融合高低层次的信息，使用融合特征进行预测。
优选地，GHR-CNN网络模型通过PyTorch构建，GHR-CNN网络模型使用Adam更新规则进行训练，初始学习率为1×10-4，损失函数λ为1×10-5，每8次迭代、学习率衰减0.98，参数在小批量中更新，批大小为32，经过150次迭代后，训练终止。
优选地，GHR-CNN网络模型使用编码-解码器结构，编码器包含5个模块，其中每个模块包括2个卷积层、一个Batch-Norm层和一个指数线性单元激活层；5个模块中，前两个模块所提取的特征是包含细节信息的低层次特征，后三个模块提取的主要为全局特征。
优选地，编码器的最后一层将被输入一个带有空洞卷积的空间金字塔结构模块，以获取多尺度信息，进而获取全局特征、优化分割准确度、减少假阳性预测结果；编码器进行特征编码之后，将不同层的特征分为两组，前两层的特征为一组，包含丰富的局部信息；后三层特征为一组，包含更多的全局信息。
优选地，将所有特征上采样到与原始图像相同的宽度和高度，以保证分辨率相同，上采样之前使用一个内核为1×1的卷积层以确保特征的位置不变，接下来，将所得到的低层次特征和高层次分别进行融合，分别获取融合后的低层次特征及高层次特征；在处理高层次特征时，使用残差模块-跳跃连接以防止梯度消失对全局特征的削弱；最后，融合后的低层次特征及高层次特征在注意力模块相互融合，并输出融合后的特征。
优选地，设提取到的全局特征和局部特征分别为Fh和Fl，该注意力模块通过门控机制将两者融合，全局特征和局部特征会被输入到一个由一个3×3的卷积层、一个Elu层、一个Batchnorm层、一个内核大小为1*1的卷积层及一个sigmoid层所构成的模块，得到一个“门”g，具体公式为：
g＝att(Fh，Fl)
g中的每个元素取值(0，1)，融合特征F可表示为：
F＝(1-g)·Fl+g·Fh
当g接近1，表示选择整体信息，当g接近0则选择局部信息；通过这种方式可以在每一个像素选取所需要的信息，做到更鲁棒的特征融合；最后，使用一个内核大小为1×1的卷积层及Sigmoid层计算最终的预测结果；
该模型通过损失函数Tversky loss进行优化，具体为：
|A-B|代表假阳性，|B-A|代表假阴性；α和β分别用于控制假阴性和假阳性，即通过调整α和β控制假阳性和假阴性之间的权衡。
本申请还涉及一种基于磁共振对比增强3D-T1WI图像的脑转移瘤识别系统，包括数据收集模块、数据预处理模块、深度神经网络模块和数据压缩模块；
数据收集模块用于收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D-T1WI数据；
数据预处理模块将所有DICOM存储格式的原始图像数据转换为NIFTI格式；将所有图像重采样至相同的宽度、相同的高度及相同的体素大小；通过一个基于伽马校正的标准化方法将图像标准化处理，使体素信号的均值为0、方差为0，使样本间信号强度分布一致；在将图像信号中心转换为0之后，通过类伽马校正方法放大高强度肿瘤信号的区间，以保证网络结构对所有MRI图像的灵敏度均相同；去除磁共振图像最大的0.05％强度，再对原始图像进行基于伽马的标准化处理，设给定输入图像x，具体处理方法如下：
其中xmax表示最大值，xstd表示x的标准差，γ表示伽马系数，γ被设置为大于1以放大高强度信号的取值区间；
深度神经网络模块基于深度神经网络提取不同层次的特征，结合高低层次特征生成一个‘门’，通过‘门’在高分辨率条件下融合高低层次的信息，使用融合特征进行预测；
数据压缩模块根据神经网络过剩的预设编码空间导致模型参数冗余的原理，利用神经网络提取的特征通道对图像类别置信分数贡献度不同的特点，通过将特征通道作为掩码反作用于输入图像，根据不同特征通道对正样本图像分类准确度的促进或抑制程度的不同，利用模型判别不同特征通道和滤波器的重要性；采取移除对图像类别置信分数贡献度低的特征通道及其对应的滤波器的方式，降低模型冗余度。
本申请主要从两个方面对GHR-CNN模型进行改进，以优化微小脑转移瘤的检测和分割：(1)通过保持高分辨率的特征以保证信息的完整性，从而提高病灶的预测准确度。(2)通过一个基于门控机制的注意力模块融合网络结构中不同层次的信息，使网络在具备分辨背景信息能力的同时对脑转移瘤保持高度的敏感性。
在当前的研究中，我们纳入大样本回顾性数据，对象为回顾性收集的1000例脑转移瘤病例(共计11686个脑转移瘤)，进行GHR-CNN模型的训练与初步测试。此外，我们还收集了482例脑转移瘤病例(共计3313个脑转移瘤)及50例无脑转移瘤的阴性病例针对GHR-CNN模型的稳定性、泛化能力、临床应用潜能进行了综合评价。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述。其中：
图1显示了本申请的GHR-CNN的整体结构示意图；
图2显示了本申请的GHR-CNN检测和分割脑转移瘤示意图；
图3显示了本申请的数据压缩流程图；
图4显示了本申请的特征通道及其对应的滤波器移除示意图。
具体实施方式
下面将结合附图对本申请作进一步说明。
本申请提供了一种基于磁共振对比增强3D-T1WI图像构建的门控高分辨率神经网络(gated high-resolution convolutional neural network，GHR-CNN)模型(相当于脑转移瘤磁共振对比增强3D-T1WI图像处理系统)，用以自动识别和分割脑转移瘤。
所有纳入病例的对比增强3D-T1WI原始图像均为DICOM格式。首先，将DICOM格式的图像文件转换为以3D图像建模的NIFTI(.nii)格式，随后，将所有图像重采样至相同的宽度、高度(256×256)及体素大小(1×1×1)，并通过一个基于伽马校正的标准化方法将图像标准化处理。
考虑到现有的3D神经网络(Convolutional Neural Network，CNN)模型参数庞大，计算成本高，对应用的软硬件平台的存储和内存空间等资源要求较高，不能广泛地应用于资源受限的平台。为了有效减低计算成本及资源消耗量，拓宽模型的应用范围，且在模型训练与测试过程中，我们所构建的2D-CNN模型检测和分割脑转移瘤的能力不亚于其它几种先进的3D-CNN模型，因此本申请构建了一个基于高分辨率、门控机制的2D-CNN模型在对比增强3D-T1WI图像上检测及分割脑转移瘤，详细步骤如下：
步骤1，训练集及测试集的划分：将1000例脑转移瘤数据随机划分为85％的训练集(850例、共计8510个脑转移瘤)和15％的测试集(150例、共3176个脑转移瘤)。
步骤2，GHR-CNN模型的构建：模型通过PyTorch构建，所有实验均在NVIDIA 3090GPU工作站上实现。该网络模型使用Adam更新规则进行训练，初始学习率为1×10-4，损失函数λ为1×10-5，每8次迭代、学习率衰减0.98，参数在小批量中更新，批大小为32，经过150次迭代后，训练终止。
GHR-CNN中使用的是编码-解码器结构，总体网络结构框架如图1所示。编码器包含5个模块，其中每个模块依次由2个卷积层、一个Batch-Norm层和一个指数线性单元(Exponential linear unit，ELU)激活层组成。前两个模块所提取的特征是包含丰富细节信息的低层次特征，如病灶边缘、纹理等，而后三个模块提取的主要为丰富的全局特征，如上下文关系。编码器的最后一层将被输入一个带有空洞卷积的空间金字塔结构(AtrousSpatial Pyramid Pooling，ASPP)模块，以获取多尺度信息，进而获取全局特征、优化分割准确度、减少假阳性预测结果。在特征编码之后，将不同层(一共5层)的特征分为两组，前两层的特征为一组、包含丰富的局部信息，后3层特征为一组、包含更多的全局信息。考虑到脑转移瘤的直径很小，下采样之后分辨率减低、关键信息很容易丢失，因此将所有特征上采样到与原始图像相同的宽度和高度，以保证分辨率相同。此外，上采样之前使用一个内核为1×1的卷积层以确保特征的位置不变。接下来，将所得到的低层次特征和高层次分别进行融合，分别获取融合后的低层次特征及高层次特征。在处理高层次特征时，使用残差模块-跳跃连接(skip connection)以防止梯度消失对全局特征的削弱。最后，融合后的低层次特征及高层次特征在注意力(Attention)模块相互融合，并输出融合后的特征。设提取到的全局特征和局部特征分别为Fh和Fl，该注意力模块通过门控机制将两者融合，具体的，它们会被输入到一个由一个3×3的卷积层、一个Elu层、一个Batchnorm层、一个内核大小为1*1的卷积层及一个sigmoid层所构成的模块，得到一个“门”g，具体公式为:
g＝att(Fh,Fl)
g中的每个元素取值(0,1)，融合特征F可表示为：
F＝(1-g)·Fl+g·Fh
当g接近1，表示选择整体信息，当g接近0则选择局部信息。通过这种方式可以在每一个像素选取所需要的信息，做到更鲁棒的特征融合。最后，使用一个内核大小为1×1的卷积层及Sigmoid层计算最终的预测结果。
除此之外，该模型通过损失函数Tversky loss进行优化，具体为：
|A-B|代表假阳性(false positive，FP)，|B-A|代表假阴性(false negative，FN)；α和β分别用于控制假阴性和假阳性，即通过调整α和β控制假阳性和假阴性之间的权衡。
图2提供了一个GHR-CNN检测和分割脑转移瘤的具体实例。
在一个实施例中，本申请提供了一种基于磁共振对比增强3D-T1WI图像的脑转移瘤自动检测方法(也包括一种脑转移瘤磁共振对比增强3D-T1WI图像处理系统)，基于磁共振对比增强3D-T1WI图像构建了一种门控高分辨率神经网络(gated high-resolutionconvolutional neural network，GHR-CNN)模型，旨在实现脑转移瘤的自动检测及分割，并着重强调微小脑转移瘤的检测，具体技术方案如下：
步骤S1、收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D-T1WI数据。
步骤S2、数据预处理：
(1)将所有DICOM存储格式的原始图像数据转换为NIFTI格式。
(2)将所有图像重采样至相同的宽度、高度(256×256)及体素大小(1×1×1)。
(3)通过一个基于伽马校正的标准化方法将图像标准化处理，使体素信号的均值为0，方差为0，以减少因磁共振设备、成像参数等不同所造成的样本间信号强度分布不一的问题。在将图像信号中心转换为0之后，该方法通过类似伽马校正的方法放大高强度信号(肿瘤信号)的区间，以保证网络结构对所有MRI图像的灵敏度均相同。考虑到所获取的磁共振图像中存在噪声，该方法在去除最大的0.05％强度后，再对原始图像进行基于伽马的标准化处理，设给定输入图像x，具体处理方法如下：
其中xmax表示最大值，xstd表示x的标准差，γ表示伽马系数，当γ＞1时放大高强度信号，反之则放大低强度信号，当γ＝1时则与常规的标准差标准化方式一样。该方法中γ被设置为大于1以放大高强度信号的取值区间
步骤S3、GHR-CNN模型构建：
基于深度神经网络提取不同层次的特征，结合高低层次特征生成一个‘门’，通过‘门’在高分辨率条件下融合高低层次的信息，使用融合特征进行预测。具体地，GHR-CNN模型通过PyTorch构建，所有实验均在NVIDIA 3090 GPU工作站上实现。该网络模型使用Adam更新规则进行训练，初始学习率为1×10-4，损失函数λ为1×10-5，每8次迭代、学习率衰减0.98，参数在小批量中更新，批大小为32，经过150次迭代后，训练终止。我们在GHR-CNN中使用编码-解码器结构(图1)。编码器包含5个模块，其中每个模块依次由2个卷积层、一个Batch-Norm层和一个指数线性单元(Exponential linear unit，ELU)激活层组成。前两个模块所提取的特征是包含丰富细节信息的低层次特征，如病灶边缘、纹理等，而后三个模块提取的主要为丰富的全局特征，如上下文关系。编码器的最后一层将被输入一个带有空洞卷积的空间金字塔结构(Atrous Spatial Pyramid Pooling，ASPP)模块，以获取多尺度信息，进而获取全局特征、优化分割准确度、减少假阳性预测结果。在特征编码之后，将不同层(一共5层)的特征分为两组，前两层的特征为一组、包含丰富的局部信息，后3层特征为一组、包含更多的全局信息。考虑到脑转移瘤的直径很小，下采样之后分辨率减低、关键信息很容易丢失，因此将所有特征上采样到与原始图像相同的宽度和高度，以保证分辨率相同。此外，上采样之前使用一个内核为1×1的卷积层以确保特征的位置不变。接下来，将所得到的低层次特征和高层次分别进行融合，分别获取融合后的低层次特征及高层次特征。在处理高层次特征时，使用残差模块-跳跃连接(skip connection)以防止梯度消失对全局特征的削弱。最后，融合后的低层次特征及高层次特征在注意力(Attention)模块相互融合，并输出融合后的特征。设提取到的全局特征和局部特征分别为Fh和Fl，该注意力模块通过门控机制将两者融合，具体的，它们会被输入到一个由一个3×3的卷积层、一个Elu层、一个Batchnorm层、一个内核大小为1*1的卷积层及一个sigmoid层所构成的模块，得到一个“门”g，具体公式为：
g＝att(Fh，Fl)
g中的每个元素取值(0，1)，融合特征F可表示为：
F＝(1-g)·Fl+g·Fh
当g接近1，表示选择整体信息，当g接近0则选择局部信息。通过这种方式可以在每一个像素选取所需要的信息，做到更鲁棒的特征融合。最后，使用一个内核大小为1×1的卷积层及Sigmoid层计算最终的预测结果。
除此之外，该模型通过损失函数Tversky loss进行优化，具体为：
|A-B|代表假阳性(false positive，FP)，|B-A|代表假阴性(false negative，FN)；α和β分别用于控制假阴性和假阳性，即通过调整α和β控制假阳性和假阴性之间的权衡。
为了解决现有的神经网络模型因参数量庞大而对应用的软硬件平台的存储和内存空间、算力等资源要求高，不能被广泛地应用于资源受限的平台的技术问题。如图3所示，根据神经网络过剩的预设编码空间导致模型参数冗余的原理，利用神经网络提取的特征通道对图像类别置信分数贡献度不同的特点，通过将特征通道作为掩码反作用于输入图像，根据不同特征通道对正样本图像分类准确度的促进或抑制程度的不同，利用模型判别不同特征通道和滤波器的重要性。采取移除对图像类别置信分数贡献度低的特征通道及其对应的滤波器的方式，降低模型冗余度，达到压缩模型的同时尽可能保持模型性能的目的。本实施例具体分为以下几个步骤：
步骤31：选择任务数据集及待压缩模型。给定图像分类数据集D和待压缩的神经网络模型，训练一个神经网络分类模型。选取合适的超参数和优化器，迭代地训练模型，直到模型收敛并在D上获得较高的分类准确率时，保存训练好的模型M。
步骤32：选取正样本图像输入模型，获得各层输出特征图。由于训练好的神经网络具有对图像类别特征编码的能力，其对数据集中正样本的特征编码具有更高的准确度，这些编码以特征图的形式存在于模型各层的输出中。
设从数据集中选取一张图像为Ic∈D，其类别标签为c，使其满足：
c＝argmax(M(Ic))
即模型对图像Ic的预测类别就是它的真实类别，我们将这样的图像Ic称为正样本图像。将图像Ic输入训练好的模型，针对模型的每一层，获得其输出特征图：
其中Ml(·)表示模型从第一层到第l层的算子，表示模型的第l层的输出特征图，它有nl个通道，空间尺寸为wl×hl。将获得共L个层的特征图构成集合
步骤33：根据模型输出的通道重要性置信分数，移除重要程度低的参数。模型对图像的特征编码由多个通道组合而成，由于预设的通道数过多导致编码空间过剩，因而造成模型参数冗余。然而，特征编码的不同通道由不同功能的滤波器提取图像特征生成，这些通道中编码的不同特征对模型输出的图像类别置信分数的贡献度是不同的。本申请利用这一特点移除模型中对图像类别置信分数贡献低的部分特征通道及提取这些特征的相应滤波器，通过减小编码空间的方式降低模型冗余。
本申请将不同的特征图通道作为输入图像的掩码，将其覆盖在输入图像上。若一个特征通道对图像类别置信分数的贡献度大，那么其作用在图像上会突出对分类有促进作用的特征，使得模型在该类别的预测置信分数上有较大的值；反之，若一个通道对图像类别置信分数的贡献度小，其作用后的图像则会降低模型对该类别的置信分数。由此确定不同特征通道及其滤波器的重要程度。
给定各层的剪枝率Pl＝[p1，p2，...，pL]，其中pl∈[0，1)表示预设的第l层要移除的通道和滤波器的比例。对于l＝1，2，...，L，逐层迭代地执行如下过程：
(1)获取第l层的特征图以及图像Ic，利用插值算法将特征图/>上采样至其空间维度和Ic相同：
其中Upsample(·)表示插值上采样算子，表示上采样得到的特征图。
(2)将特征图按通道维度展开成一个集合/>并将集合Al的每个元素作为图像掩码与图像Ic逐元素相乘，得到由第l层的特征图覆盖后的图像集合Sl：
其中⊙表示矩阵逐元素相乘。
(3)将Sl中的所有元素分批次输入到模型M中，得到它们对应的类别置信分数在第c类的值：
其中为/>输入模型后，模型输出的类别置信分数在第c类的值，Yc是第l层得到的所有nl个值的集合。
(4)获取第l层的剪枝率pl，将Yc中的元素按从小到大的顺序排序，选择其中的前Nl＝nlpl个元素对应的下标索引序列。在模型f中，删除第l层中这些索引对应的的滤波器、第l+1层中这些索引对应的滤波器通道。本申请实施例中的模型参数移除操作如图4所示，其中矩形表示不同的特征通道，每行并列的菱形表示多个通道的滤波器，用“叉”号标记的是被模型判别为低重要程度的通道和滤波器，它们将被移除出模型。
步骤34：微调压缩后的模型，使其恢复精度。由于删除了模型中部分冗余的参数，导致模型在数据集D上的分类准确度有一定程度的下降。为了恢复模型准确度，需要将压缩后的模型再进行一定轮次的迭代训练，训练时适度降低学习率，直到模型收敛，此时模型的准确率得以恢复。保存此时的模型，即为被压缩的模型。
虽然在本文中参照了特定的实施方式来描述本申请，但是应该理解的是，这些实施例仅仅是本申请的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本申请的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (5)
1.一种基于磁共振对比增强3D-T1WI图像的脑转移瘤识别方法，其特征在于，包括：
步骤S1、收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D-T1WI数据；
步骤S2、数据预处理：
S21、将所有DICOM存储格式的原始图像数据转换为NIFTI格式；
S22、将所有图像重采样至相同的宽度、相同的高度及相同的体素大小；
S23、通过一个基于伽马校正的标准化方法将图像标准化处理，使体素信号的均值为0、方差为0，使样本间信号强度分布一致；在将图像信号中心转换为0之后，通过类伽马校正方法放大高强度肿瘤信号的区间，以保证网络结构对所有MRI图像的灵敏度均相同；去除磁共振图像最大的0.05％强度，再对原始图像进行基于伽马的标准化处理，设给定输入图像x，具体处理方法如下：
其中xmax表示最大值，xstd表示x的标准差，γ表示伽马系数，γ被设置为大于1以放大高强度信号的取值区间；
步骤S3、GHR-CNN模型构建：
基于深度神经网络提取不同层次的特征，结合高低层次特征生成一个‘门’，通过‘门’在高分辨率条件下融合高低层次的信息，使用融合特征进行预测；GHR-CNN网络模型通过PyTorch构建，GHR-CNN网络模型使用Adam更新规则进行训练，初始学习率为1×10-4，损失函数λ为1×10-5，每8次迭代、学习率衰减0.98，参数在小批量中更新，批大小为32，经过150次迭代后，训练终止；
GHR-CNN网络模型使用编码-解码器结构，编码器包含5个模块，其中每个模块包括2个卷积层、一个Batch-Norm层和一个指数线性单元激活层；5个模块中，前两个模块所提取的特征是包含细节信息的低层次特征，后三个模块提取的主要为全局特征；
编码器的最后一层将被输入一个带有空洞卷积的空间金字塔结构模块，以获取多尺度信息，进而获取全局特征、优化分割准确度、减少假阳性预测结果；编码器进行特征编码之后，将不同层的特征分为两组，前两层的特征为一组，包含丰富的局部信息；后三层特征为一组，包含更多的全局信息；
将所有特征上采样到与原始图像相同的宽度和高度，以保证分辨率相同，上采样之前使用一个内核为1×1的卷积层以确保特征的位置不变，接下来，将所得到的低层次特征和高层次分别进行融合，分别获取融合后的低层次特征及高层次特征；在处理高层次特征时，使用残差模块-跳跃连接以防止梯度消失对全局特征的削弱；最后，融合后的低层次特征及高层次特征在注意力模块相互融合，并输出融合后的特征；
设提取到的全局特征和局部特征分别为Fh和Fl，该注意力模块通过门控机制将两者融合，全局特征和局部特征会被输入到一个由一个3×3的卷积层、一个Elu层、一个Batchnorm层、一个内核大小为1*1的卷积层及一个sigmoid层所构成的模块，得到一个“门”g，具体公式为:
g＝att(Fh,Fl)
g中的每个元素取值(0,1)，融合特征F可表示为：
F＝(1-g)·Fl+g·Fh
当g接近1，表示选择整体信息，当g接近0则选择局部信息；通过这种方式在每一个像素选取所需要的信息，做到更鲁棒的特征融合；最后，使用一个内核大小为1×1的卷积层及Sigmoid层计算最终的预测结果；
该模型通过损失函数Tversky loss进行优化，具体为：
|A-B|代表假阳性，|B-A|代表假阴性；α和β分别用于控制假阴性和假阳性，即通过调整α和β控制假阳性和假阴性之间的权衡。
2.一种基于磁共振对比增强3D-T1WI图像的脑转移瘤识别系统，其特征在于，包括数据收集模块、数据预处理模块、深度神经网络模块和数据压缩模块；使用权利要求1所述的基于磁共振对比增强3D-T1WI图像的脑转移瘤识别方法；
数据收集模块用于收集符合纳入标准的脑转移瘤患者的颅脑磁共振对比增强3D-T1WI数据；
数据预处理模块将所有DICOM存储格式的原始图像数据转换为NIFTI格式；将所有图像重采样至相同的宽度、相同的高度及相同的体素大小；通过一个基于伽马校正的标准化方法将图像标准化处理，使体素信号的均值为0、方差为0，使样本间信号强度分布一致；在将图像信号中心转换为0之后，通过类伽马校正方法放大高强度肿瘤信号的区间，以保证网络结构对所有MRI图像的灵敏度均相同；去除磁共振图像最大的0.05％强度，再对原始图像进行基于伽马的标准化处理，设给定输入图像x，具体处理方法如下：
其中xmax表示最大值，xstd表示x的标准差，γ表示伽马系数，γ被设置为大于1以放大高强度信号的取值区间；
深度神经网络模块基于深度神经网络提取不同层次的特征，结合高低层次特征生成一个‘门’，通过‘门’在高分辨率条件下融合高低层次的信息，使用融合特征进行预测；
数据压缩模块根据神经网络过剩的预设编码空间导致模型参数冗余的原理，利用神经网络提取的特征通道对图像类别置信分数贡献度不同的特点，通过将特征通道作为掩码反作用于输入图像，根据不同特征通道对正样本图像分类准确度的促进或抑制程度的不同，利用模型判别不同特征通道和滤波器的重要性；采取移除对图像类别置信分数贡献度低的特征通道及其对应的滤波器的方式，降低模型冗余度。
3.根据权利要求2所述的基于磁共振对比增强3D-T1WI图像的脑转移瘤识别系统，其特征在于，深度神经网络模型通过PyTorch构建，深度神经网络模型使用Adam更新规则进行训练，初始学习率为1×10-4，损失函数λ为1×10-5，每8次迭代、学习率衰减0.98，参数在小批量中更新，批大小为32，经过150次迭代后，训练终止。
4.根据权利要求3所述的基于磁共振对比增强3D-T1WI图像的脑转移瘤识别系统，其特征在于，GHR-CNN网络模型使用编码-解码器结构，编码器包含5个模块，其中每个模块包括2个卷积层、一个Batch-Norm层和一个指数线性单元激活层；5个模块中，前两个模块所提取的特征是包含细节信息的低层次特征，后三个模块提取的主要为全局特征。
5.根据权利要求4所述的基于磁共振对比增强3D-T1WI图像的脑转移瘤识别系统，其特征在于，编码器的最后一层将被输入一个带有空洞卷积的空间金字塔结构模块，以获取多尺度信息，进而获取全局特征、优化分割准确度、减少假阳性预测结果；编码器进行特征编码之后，将不同层的特征分为两组，前两层的特征为一组，包含丰富的局部信息；后三层特征为一组，包含更多的全局信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210950084.XA CN115239688B (zh) | 2022-08-09 | 2022-08-09 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210950084.XA CN115239688B (zh) | 2022-08-09 | 2022-08-09 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115239688A CN115239688A (zh) | 2022-10-25 |
| CN115239688B true CN115239688B (zh) | 2024-03-12 |
Family
ID=83678983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210950084.XA Active CN115239688B (zh) | 2022-08-09 | 2022-08-09 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239688B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| WO2019041376A1 (zh) * | 2017-08-30 | 2019-03-07 | 南方医科大学 | 基于卷积神经网络去除磁共振图像降采样伪影的方法 |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| WO2020124208A1 (en) * | 2018-12-21 | 2020-06-25 | Nova Scotia Health Authority | Systems and methods for generating cancer prediction maps from multiparametric magnetic resonance images using deep learning |
| WO2020190821A1 (en) * | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
| CN112288749A (zh) * | 2020-10-20 | 2021-01-29 | 贵州大学 | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021121126A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 基于深度学习的脑瘤图像分割方法、装置、设备及介质 |
| CN113657503A (zh) * | 2021-08-18 | 2021-11-16 | 上海交通大学 | 一种基于多模态数据融合的恶性肝肿瘤分类方法 |
| CN114255168A (zh) * | 2021-12-10 | 2022-03-29 | 浙江大学 | 基于残差卷积神经网络的ldct图像超分辨增强方法及装置 |
| CN114445328A (zh) * | 2021-12-16 | 2022-05-06 | 中山大学 | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 |
| WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11756160B2 (en) * | 2018-07-27 | 2023-09-12 | Washington University | ML-based methods for pseudo-CT and HR MR image estimation |
-
2022
- 2022-08-09 CN CN202210950084.XA patent/CN115239688B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| WO2019041376A1 (zh) * | 2017-08-30 | 2019-03-07 | 南方医科大学 | 基于卷积神经网络去除磁共振图像降采样伪影的方法 |
| CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
| WO2020124208A1 (en) * | 2018-12-21 | 2020-06-25 | Nova Scotia Health Authority | Systems and methods for generating cancer prediction maps from multiparametric magnetic resonance images using deep learning |
| CN109934153A (zh) * | 2019-03-07 | 2019-06-25 | 张新长 | 基于门控深度残差优化网络的建筑物提取方法 |
| WO2020190821A1 (en) * | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021121126A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 基于深度学习的脑瘤图像分割方法、装置、设备及介质 |
| CN112288749A (zh) * | 2020-10-20 | 2021-01-29 | 贵州大学 | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 |
| WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
| CN113657503A (zh) * | 2021-08-18 | 2021-11-16 | 上海交通大学 | 一种基于多模态数据融合的恶性肝肿瘤分类方法 |
| CN114255168A (zh) * | 2021-12-10 | 2022-03-29 | 浙江大学 | 基于残差卷积神经网络的ldct图像超分辨增强方法及装置 |
| CN114445328A (zh) * | 2021-12-16 | 2022-05-06 | 中山大学 | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115239688A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Attention dense-u-net for automatic breast mass segmentation in digital mammogram | |
| CN109410219B (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN113674281A (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN112270666A (zh) | 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法 | |
| Khan et al. | PMED-net: Pyramid based multi-scale encoder-decoder network for medical image segmentation | |
| WO2024060842A1 (zh) | 分类模型获取方法、表达类别确定方法、装置、设备及介质 | |
| CN114119516A (zh) | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 | |
| WO2022059315A1 (ja) | 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム | |
| CN112638262A (zh) | 相似度确定装置、方法及程序 | |
| Subudhi et al. | Application of machine learning techniques for characterization of ischemic stroke with MRI images: a review | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN115239688B (zh) | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 | |
| Armstrong et al. | Brain tumor image segmentation using Deep learning | |
| CN113421274B (zh) | 一种基于ct影像的胃癌智能分期方法 | |
| Zhang et al. | Salient detection network for lung nodule detection in 3D Thoracic MRI Images | |
| Hasan et al. | Semantic Lung Segmentation from Chest X-Ray Images Using Seg-Net Deep CNN Model | |
| Hwang et al. | RBCA-Net: Reverse boundary channel attention network for kidney tumor segmentation in CT images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |