CN113223014B - 基于数据增强的脑部图像分析系统、方法及设备 - Google Patents

基于数据增强的脑部图像分析系统、方法及设备 Download PDF

Info

Publication number
CN113223014B
CN113223014B CN202110501137.5A CN202110501137A CN113223014B CN 113223014 B CN113223014 B CN 113223014B CN 202110501137 A CN202110501137 A CN 202110501137A CN 113223014 B CN113223014 B CN 113223014B
Authority
CN
China
Prior art keywords
image
focus
brain
enhancement
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110501137.5A
Other languages
English (en)
Other versions
CN113223014A (zh
Inventor
马喜波
雷震
梁科委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110501137.5A priority Critical patent/CN113223014B/zh
Publication of CN113223014A publication Critical patent/CN113223014A/zh
Application granted granted Critical
Publication of CN113223014B publication Critical patent/CN113223014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分析领域，具体涉及了一种基于数据增强的脑部图像分析系统、方法和设备，旨在解决现有的脑部图像分析系统只能孤立地分析一种脑部病变而忽略三种病变存在多发可能、分类模型训练数据集较少使得诊断精度不高且不可靠和仅用分类模型分类精度较低等问题。本发明包括：通过3D分割网络识别模型获取立体分割掩膜，将立体分割掩膜和脑部MR图像结合生成不同病灶增强图像，通过训练好的分类网络获得分类结果。本发明考虑到了三种肿瘤病变的多发性，提高了脑部图像分析的准确性，提高了模型诊断精度和模型诊断可靠性，使用分割标签训练分割网络增强病灶区域，显著提高了诊断准确率。

Description

基于数据增强的脑部图像分析系统、方法及设备
背景技术
原发性中枢神经系统淋巴瘤(PCNSL)、脑胶质母细胞瘤(GBM)和肿大性脱髓鞘病变(TDL)是三种病理、治疗和预后不同的病变。所有这些病变都可以是孤立性和多发性的。由于这些孤立性病变，这三种实体通常表现为周围水肿的增强性肿块；由于这些多发性病变，它们表现为脑内分散和增强的肿块。
由于常规MRI表现相似，一些先进的MR方法被用来鉴别三种病变。例如，系统回顾显示动态敏感性对比增强图像(DSC)和动脉自旋标记(ASL)有可能区分PCNSL和GBM。另一项研究表明，弥散加权成像(DWI)可作为鉴别PCNSL、GBM和炎性脱髓鞘假瘤的有效诊断工具。
然而，这些先进的磁共振成像主要集中在病变的增强部分，而忽略了非增强部分。放射分析可以探测整个病灶，包括增强和非增强成分。近年来，不同的放射组学被发展用于大脑实体。例如，深度学习方法被用于脑膜瘤的鉴别诊断。QianZ等人从他的发现中总结了放射组学在GBM和孤立性脑转移瘤鉴别诊断中的价值。
迄今为止，用于鉴别这三种病变的磁共振成像方法和放射分析方法都只局限于三种病变的孤立形态。事实上，这三种病变都可以是多发性的，甚至多发性病变的比例也是可变的。此外，大多数放射分析都关注于小数据集的机器学习算法。因此，我们收集了更多的数据，并尝试通过基于MRI的深度学习和数据增强算法来识别三个病灶，同时聚焦于单个和多个病灶。
发明内容
为了解决现有技术中的上述问题，即现有的脑部图像分析系统以往机器学习算法只能孤立地分析一种脑部病变而忽略三种病变存在多发可能、分类模型训练数据集较少使得诊断精度不高且不可靠和仅用分类模型分类精度较低等问题，本发明提供了一种基于数据增强的脑部图像分析系统，所述系统包括：数据获取模块、格式转换模块、3D分割模块、数据增强模块和图像分类模块；
所述数据获取模块，配置为获取原始多模态脑部MR图像；
所述格式转换模块，配置为通过Slicer软件将dicom格式的所述原始脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
所述3D分割模块，配置为基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
所述数据增强模块，配置为将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
所述图像分类模块，配置为基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。
在一些优选的实施方式中，所述3D分割模块，具体包括预处理单元、下采样提取单元、上采样和融合单元和掩膜生成单元；
所述预处理单元，配置为基于所述把原始多模态脑部MR图像分割出脑区域图像，并进行归一化生成待提取图像；
所述下采样单元，配置为基于所述待提取图像，通过1层卷积层和4层下采样层分级提取获得不同深度的特征；
所述上采样融合单元，配置为通过4层上采样层将分别与所述不同深度的特征进行融合获得融合特征图；
所述掩膜生成单元，配置为基于所述融合特征图，通过argmax函数获得包含病灶区域的分割掩膜，并通过双线性插值的方法获得病灶立体分割掩膜。
在一些优选的实施方式中，所述数据增强模块，具体为：将所述病灶立体分割掩膜与所述原始多模态脑部MR图像结合进行像素点增强，结合方程为：
Mn＝M+M·n·k
其中，Mn表示病灶增强数据，M表示原始多模态脑部MR图像，n表示病灶立体分割掩膜，k表示增强系数。
在一些优选的实施方式中，所述增强系数k可取值为-0.5、0、0.5、1、2。
在一些优选的实施方式中，图像分类模块具体包括：图像预处理单元和区域分类单元；
所述图像预处理单元，配置为对所述病灶增强数据进行归一化生成待分类图像；
所述区域分类单元，配置为基于所述待分类图像，通过训练好的病灶图像分类模型进行分类，获得分类结果。
在一些优选的实施方式中，所述图像分类网络，通过3DResNet18网络实现。
在一些优选的实施方式中，所述系统还包括模型训练模块，配置为用神经放射学家为通过ITK-SNAP软件人工勾画出病灶区域供分割模块训练测试使用；
通过格式转换模块和3D分割模块生成训练图像的病灶立体分割掩膜；并与所述病灶区域计算分割损失，多次输入训练图像集通过随机梯度下降算法使所述分割损失低于预设的阈值，获得训练好的病灶区域3D分割网络；
通过所述数据增强模块和图像分类模块生成训练图像的病灶分类结果并与所述病灶的类别标签计算分类损失，多次输入训练图像集通过随机梯度下降算法使所述分类损失低于预设的阈值，获得训练好的病灶图像分类网络。
在一些优选的实施方式中，所述系统还包括模型测试单元，配置为根据所述分类结果和所述病灶类别标签，计算曲线下面积(AUC)和最佳阈值下的准确性、特异性、敏感性，当所述曲线下面积(AUC)、是通过计算不同阈值下的特异度和灵敏度，并绘制ROC曲线，曲线右下方面积即为AUC。
本发明的另一方面，提出了一种基于数据增强的脑部图像分析方法，所述方法包括：
步骤S100，获取原始多模态脑部MR图像；
步骤S200，通过Slicer软件将dicom格式的所述原始脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
步骤S300，基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
步骤S400，将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
步骤S500，基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于数据增强的脑部图像分析方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于数据增强的脑部图像分析方法。
本发明的有益效果：
(1)本发明基于数据增强的脑部图像分析系统，通过3D分割网络预测病变区域，并将病灶掩膜和原脑部图像结合获取增强数据，并通过分类神经网络对不同增强数据进行诊断，找到最合适的数据增强方案，获得诊断结果，提高了诊断的准确性，此分析系统在诊断过程中可以实现端到端诊断，将图像送入图像分析系统中，几秒内便能得到诊断结果，并能同时对原发性中枢神经系统淋巴瘤(PCNSL)、脑胶质母细胞瘤(GBM)和肿大性脱髓鞘病变(TDL)三种病理、治疗和预后不同的病变进行识别。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例基于数据增强的脑部图像分析系统的结构框图；
图2是本发明3D分割模块、数据增强模块和图像分类模块的原理示意图；
图3是本发明实施例中数据增强模块的不同程度增强的增强数据效果示意图；
图4是本发明实施例中不同k值和ROI的ROC曲线；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于数据增强的脑部图像分析系统，本系统过3D分割网络预测病变区域，并将病灶掩膜和原脑部图像结合获取增强数据，并通过分类神经网络对不同增强数据进行诊断，找到最合适的数据增强方案，获得诊断结果，提高了诊断的准确性。
本发明的一种基于数据增强的脑部图像分析系统，包括：数据获取模块、格式转换模块、3D分割模块、数据增强模块和图像分类模块；
所述数据获取模块，配置为获取原始多模态脑部MR图像；
所述格式转换模块，配置为通过Slicer软件将dicom格式的所述原始脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
所述3D分割模块，配置为基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
所述数据增强模块，配置为将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
所述图像分类模块，配置为基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。为了更清晰地对本发明基于数据增强的脑部图像分析系统进行说明，下面结合图1对本发明实施例中各功能模块展开详述。
本发明第一实施例的基于数据增强的脑部图像分析系统，包括数据获取模块、格式转换模块、3D分割模块、数据增强模块和图像分类模块，各功能模块详细描述如下：
所述数据获取模块，配置为获取原始多模态脑部MR图像；
所述格式转换模块，配置为通过Slicer软件将dicom格式的所述原始脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
在本实施例中，可通过python3.7.4算法实现的。以261名受试者为例，将受试者随机分为训练组和测试组。训练组包括67例GBM、65例PCNSL和50例TDL。试验组包括GBM 30例，PCNSL 27例，TDL 22例。将所有受试者数据转换成NIFTI格式以适应3D网络。
图像处理的过程如图2所示，即3D分割模块、数据增强模块和图像分类模块的功能。
所述3D分割模块，配置为基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
在本实施例中，所述3D分割模块，具体包括预处理单元、下采样提取单元、上采样和融合单元和掩膜生成单元；
所述预处理单元，配置为基于所述原始多模态脑部MR图像，分割出脑区域图像，并进行归一化生成待提取图像；在本功能单元中，分割脑区域图像可以减少不相关信息的干扰，归一化以减少光照不均匀对医学图像的干扰。在不影响分割性能的情况下，用插值算法将大小为512x512x24的输入图像的尺寸减小到128×128×32.
所述下采样单元，配置为配置为基于所述待提取图像，通过1层卷积层和4层下采样层分级提取获得不同深度的特征；
所述上采样融合单元，配置为配置为通过4层上采样层将分别与所述不同深度的特征进行融合获得融合特征图；通过本功能单元可以融合各个层次的特征，并回复图像大小，经过一层卷积后通道数减少到两个。本实施例采用的病灶区域3D分割网络通过U-Net实现。
所述掩膜生成单元，配置为基于所述融合特征图，通过argmax函数获得病灶分割掩膜，并通过双线性插值的方法获得病灶区域的立体分割掩膜，最后得到的立体分割掩膜的尺寸为512×512×24。
所述数据增强模块，配置为将所述立体分割掩膜和所述脑部MR图像结合生成病灶增强数据；
在本实施例中，所述数据增强模块，具体为：将所述病灶立体分割掩膜与所述原始多模态脑部MR图像结合并进行像素点增强，改变病变区域和非病灶区域的比例，非病灶区域的像素不变，结合方程为：
Mn＝M+M·n·k
其中，Mn表示病灶增强数据，M表示原始多模态脑部MR图像，n表示分割掩膜，k表示增强系数。
在本实施例中，所述增强系数k可取值为-0.5、0、0.5、1、2。对于不同的k值，效果如图3所示，图3中，ABCDE分别对应k取-0.5、0、0.5、1、2。
所述图像分类模块，配置为基于所述病灶增强数据，通过训练好的图像分类网络获得分类结果。
在本实施例中，所述图像分类模块具体包括：图像预处理单元和区域分类单元；
所述图像预处理单元，配置为对所述病灶增强数据进行归一化生成待分类图像；
所述区域分类单元，配置为基于所述待分类图像，通过训练好的病灶图像分类网络进行分类，获得分类结果。
在本实施例中，所述图像分类网络，通过resnet18网络实现。
所述系统还包括模型训练模块，配置为所述系统还包括模型训练模块，配置为用神经放射学家为通过ITK-SNAP软件人工勾画出病灶区域供分割模块训练测试使用获取分割标签。在本实施例中，人为通过ITK-SNAP软件勾画出病灶区域和病灶的类别标签；在本实施例中，由经验丰富的放射学医生将MR图像使用ITK-SNAP软件在轴向CE-T1上勾画出病灶区域，并分别给出病灶的类别标签。在ROI分割之前，两名放射科医生分别盲法对随机抽取的十分之一的患者进行这三种疾病的诊断。每个放射科医生都能看到来自不同MRI扫描仪的完整DICOM图像。将每位放射科医师的准确诊断病例数除以所有诊断病例数，计算其各自的诊断绩效
通过格式转换模块和3D分割模块生成训练图像的病灶立体分割掩膜；并与所述病灶区域计算分割损失，多次输入训练图像集通过随机梯度下降算法使所述分割损失低于预设的阈值，获得训练好的病灶区域3D分割网络；
通过所述数据增强模块和图像分类模块生成训练图像的病灶分类结果并与所述病灶的类别标签计算分类损失，多次输入训练图像集通过随机梯度下降算法使所述分类损失低于预设的阈值，获得训练好的病灶图像分类网络。
在本实施例中，所述系统还包括模型测试单元，配置为根据所述分类结果和所述病灶类别标签，计算曲线下面积(AUC)和最佳阈值下的准确性、特异性、敏感性，当所述曲线下面积(AUC)、是通过计算不同阈值下的特异度和灵敏度，并绘制ROC曲线，曲线右下方面积即为AUC。
连续变量和分类变量分别表示为平均值±标准差和数字(百分比)。采用SPSS软件(版本23.0，IBM)进行单因素方差分析(ANOVA)和Pearsonχ2检验，比较两组患者年龄、性别比和多发病变的差异。P值<0.05被认为具有统计学意义。用R(4.0.2)pROC(1.16.2版)获得的受试者操作特征(ROC)曲线，显示曲线下面积(AUC)、准确性、特异性和不同阈值下的敏感性，评价分类模型的性能。
诊断性能
AUC(95％置信区间)、准确度、敏感性、特异性和总体准确度见表1和表2。ROC曲线如图4所示。在0.5时，诊断性能最好，总准确率为92.4％，GBM、PCNSL和TDL的AUC(95％可信区间)分别为1.000(1.000-1.000)、0.963(0.923-1.000)和0.954(0.904-1.000)。两位神经放射科医生的诊断率分别为22.22％和19.44％。
表1不同k值下的诊断性能
Figure BDA0003056341090000101
表1续
Figure BDA0003056341090000102
表2
Figure BDA0003056341090000103
Figure BDA0003056341090000111
AUC，曲线下面积；ACC，准确度；SEN，敏感性；SPE，特异性；
需要说明的是，上述实施例提供的基于数据增强的脑部图像分析系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的基于数据增强的脑部图像分析方法，所述方法包括：
通过Slicer软件将dicom格式的所述原始脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
步骤S300，基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
步骤S400，将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
步骤S500，基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明第三实施例的一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于数据增强的脑部图像分析方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于数据增强的脑部图像分析方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于数据增强的脑部图像分析系统，其特征在于，所述系统包括：数据获取模块、格式转换模块、3D分割模块、数据增强模块和图像分类模块；
所述数据获取模块，配置为获取原始多模态脑部MR图像；
所述格式转换模块，配置为通过Slicer软件将dicom格式的所述原始多模态脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
所述3D分割模块，配置为基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；
所述3D分割模型，具体包括：预处理单元、下采样单元、上采样融合单元和掩膜生成单元；
所述预处理单元，配置为基于所述原始多模态脑部MR图像分割出脑区域图像，并进行归一化生成待提取图像；
所述下采样单元，配置为基于所述待提取图像，通过1层卷积层和4层下采样层分级提取获得不同深度的特征；
所述上采样融合单元，配置为通过4层上采样层将所述不同深度的特征进行融合获得融合特征图；
所述掩膜生成单元，配置为基于所述融合特征图，通过argmax函数获得包含病灶区域的分割掩膜，并通过双线性插值的方法获得病灶立体分割掩膜；
所述数据增强模块，配置为将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
所述数据增强模块，具体为：将所述病灶立体分割掩膜与所述原始多模态脑部MR图像结合进行像素点增强，结合方程为：
Mn＝M+M·n·k
其中，Mn表示病灶增强数据，M表示原始多模态脑部MR图像，n表示病灶立体分割掩膜，k表示增强系数；
所述图像分类模块，配置为基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。
2.根据权利要求1所述的基于数据增强的脑部图像分析系统，其特征在于，所述增强系数k可取值为-0.5、0、0.5、1、2。
3.根据权利要求1所述的基于数据增强的脑部图像分析系统，其特征在于，所述图像分类模块具体包括：图像预处理单元和区域分类单元
所述图像预处理单元，配置为对所述病灶增强数据进行归一化生成待分类图像；
所述区域分类单元，配置为基于所述待分类图像，通过训练好的病灶图像分类模型进行分类，获得分类结果。
4.根据权利要求3所述的基于数据增强的脑部图像分析系统，其特征在于，所述系统还包括模型训练模块，配置为神经放射学家通过ITK-SNAP软件人工勾画出病灶区域和设定类别标签，供3D分割模型和病灶图像分类模型训练测试；
通过格式转换模块和3D分割模型生成训练图像的病灶立体分割掩膜；并与所述病灶区域计算分割损失，多次输入训练图像集通过随机梯度下降算法使所述分割损失低于预设的阈值，获得训练好的病灶区域3D分割模型；
通过所述数据增强模块和病灶图像分类模型生成训练图像的病灶分类结果并与所述病灶的类别标签计算分类损失，多次输入训练图像集通过随机梯度下降算法使所述分类损失低于预设的阈值，获得训练好的病灶图像分类模型。
5.根据权利要求4所述的基于数据增强的脑部图像分析系统，其特征在于，所述系统还包括模型测试单元，配置为根据所述分类结果和所述病灶类别标签，计算曲线下面积(AUC)和最佳阈值下的准确性、特异性、敏感性；所述曲线下面积(AUC)是通过计算不同阈值下的特异度和灵敏度，并绘制ROC曲线，曲线右下方面积即为AUC。
6.一种基于数据增强的脑部图像分析方法，其特征在于，所述方法包括：
步骤S100，获取原始多模态脑部MR图像；
步骤S200，通过Slicer软件将dicom格式的所述原始多模态脑部MR图像转化为NIFTI格式，生成NIFTI格式的脑部图像；
步骤S300，基于所述NIFTI格式的脑部图像，通过训练好的3D分割模型识别获取病灶立体分割掩膜；具体为：
基于所述原始多模态脑部MR图像分割出脑区域图像，并进行归一化生成待提取图像；
基于所述待提取图像，通过1层卷积层和4层下采样层分级提取获得不同深度的特征；
通过4层上采样层将所述不同深度的特征进行融合获得融合特征图；
基于所述融合特征图，通过argmax函数获得包含病灶区域的分割掩膜，并通过双线性插值的方法获得病灶立体分割掩膜；
步骤S400，将所述病灶立体分割掩膜和所述原始多模态脑部MR图像结合使得病灶区域像素点增强生成病灶增强数据；
具体为：将所述病灶立体分割掩膜与所述原始多模态脑部MR图像结合进行像素点增强，结合方程为：
Mn＝M+M·n·k
其中，Mn表示病灶增强数据，M表示原始多模态脑部MR图像，n表示病灶立体分割掩膜，k表示增强系数；
步骤S500，基于所述病灶增强数据，通过训练好的病灶图像分类模型获得分类结果。
7.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求6所述的基于数据增强的脑部图像分析方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求6所述的基于数据增强的脑部图像分析方法。
CN202110501137.5A 2021-05-08 2021-05-08 基于数据增强的脑部图像分析系统、方法及设备 Active CN113223014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110501137.5A CN113223014B (zh) 2021-05-08 2021-05-08 基于数据增强的脑部图像分析系统、方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110501137.5A CN113223014B (zh) 2021-05-08 2021-05-08 基于数据增强的脑部图像分析系统、方法及设备

Publications (2)

Publication Number Publication Date
CN113223014A CN113223014A (zh) 2021-08-06
CN113223014B true CN113223014B (zh) 2023-04-28

Family

ID=77093974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110501137.5A Active CN113223014B (zh) 2021-05-08 2021-05-08 基于数据增强的脑部图像分析系统、方法及设备

Country Status (1)

Country Link
CN (1) CN113223014B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511562B (zh) * 2022-04-19 2022-07-15 深圳市疾病预防控制中心（深圳市卫生检验中心、深圳市预防医学研究所） 基于大数据的慢性阻塞性肺炎风险预测系统、方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090147001A1 (en) * 2006-05-17 2009-06-11 Koninklijke Philips Electronics N.V. Computer program to output contrast enhanced medical image data
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN110992338B (zh) * 2019-11-28 2022-04-01 华中科技大学 一种原发灶转移辅助诊断系统
CN111047589B (zh) * 2019-12-30 2022-07-26 北京航空航天大学 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN111461233A (zh) * 2020-04-02 2020-07-28 大连海事大学 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置
CN111833359B (zh) * 2020-07-13 2022-07-12 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN112348785B (zh) * 2020-10-29 2023-09-29 深圳大学 一种癫痫病灶定位方法及系统
CN112581458B (zh) * 2020-12-24 2024-03-26 清华大学 一种图像处理方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN113223014A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US11430140B2 (en) Medical image generation, localizaton, registration system
Li et al. Fusing metadata and dermoscopy images for skin disease diagnosis
US10733727B2 (en) Application of deep learning for medical imaging evaluation
Mazurowski et al. Mutual information-based template matching scheme for detection of breast masses: From mammography to digital breast tomosynthesis
EP2686809B1 (en) Method and system for intelligent linking of medical data
CN106203488B (zh) 一种基于受限玻尔兹曼机的乳腺图像特征融合方法
Sugimori Classification of computed tomography images in different slice positions using deep learning
Diamant et al. Improved patch-based automated liver lesion classification by separate analysis of the interior and boundary regions
US20090238422A1 (en) Communicative cad system for assisting breast imaging diagnosis
Costaridou Medical image analysis methods
Xi et al. Deep learning for differentiation of benign and malignant solid liver lesions on ultrasonography
Kwon et al. Ultrasonographic thyroid nodule classification using a deep convolutional neural network with surgical pathology
CN111292324B (zh) 一种针对臂丛神经超声图像的多目标识别方法及系统
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
Zhang et al. THAN: task-driven hierarchical attention network for the diagnosis of mild cognitive impairment and Alzheimer’s disease
Ghantasala et al. Identification of Normal and Abnormal Mammographic Images Using Deep Neural Network
CN113223014B (zh) 基于数据增强的脑部图像分析系统、方法及设备
CN112150564A (zh) 基于深度卷积神经网络医学图像融合算法
Ceranka et al. Multi‐atlas segmentation of the skeleton from whole‐body MRI—Impact of iterative background masking
Li et al. Attention-based and micro designed EfficientNetB2 for diagnosis of Alzheimer’s disease
Depeursinge et al. 3D case–based retrieval for interstitial lung diseases
de Azevedo Marques et al. Content-based retrieval of medical images: landmarking, indexing, and relevance feedback
Chedid et al. Synthesis of fracture radiographs with deep neural networks
Hirsch et al. Segmentation of MRI head anatomy using deep volumetric networks and multiple spatial priors
Pavarut et al. Improving Kidney Tumor Classification With Multi-Modal Medical Images Recovered Partially by Conditional CycleGAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant