CN111583192B - Mri图像与深度学习乳腺癌图像处理方法及早筛系统 - Google Patents

Mri图像与深度学习乳腺癌图像处理方法及早筛系统 Download PDF

Info

Publication number
CN111583192B
CN111583192B CN202010317229.3A CN202010317229A CN111583192B CN 111583192 B CN111583192 B CN 111583192B CN 202010317229 A CN202010317229 A CN 202010317229A CN 111583192 B CN111583192 B CN 111583192B
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
data
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010317229.3A
Other languages
English (en)
Other versions
CN111583192A (zh
Inventor
路文焕
王潇蔓
魏建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010317229.3A priority Critical patent/CN111583192B/zh
Publication of CN111583192A publication Critical patent/CN111583192A/zh
Application granted granted Critical
Publication of CN111583192B publication Critical patent/CN111583192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于计算机视觉领域、医疗器械技术领域，为提出乳腺癌早筛新装置，更好地完成边缘定位，有助于产生更精确的分割结果，进而实现乳腺癌早筛。为此，本发明采取的技术方案是，MRI图像与深度学习乳腺癌图像处理方法与早筛系统，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块，利用乳腺MRI结果中的4种序列图像，从中提取特征并进行深度融合。本发明主要应用于MRI图像处理与医疗设备设计制造。

Description

MRI图像与深度学习乳腺癌图像处理方法及早筛系统
技术领域
本发明属于计算机视觉领域、医疗器械技术领域，涉及特征提取、特征融合、图像分类和图像分割，具体涉及基于多序列MRI图像与深度学习的乳腺癌早筛系统。
背景技术
本发明是基于多序列磁共振成像(Magnetic Resonance Imaging，MRI)图像与深度学习的乳腺癌早筛系统。乳腺癌已经成为了全世界的一大健康问题，是女性中最普遍的癌症类型，也在一定程度上威胁着男性的健康。肿瘤的早筛和分析是乳腺癌诊断和治疗的关键因素，有助于降低乳腺癌导致的死亡率。
目前乳腺癌检测的主要医学方法有乳房X光检查，电子计算机断层扫描(CT)，多普勒超声检查和磁共振成像(MRI)。相比于其他三种检查方法，MRI具有清晰度高、多角度和成像完整等优点，对提高乳腺癌早期检出旅有很大帮助。此外，MRI能够提供更多软组织细节，可以同时检测两侧乳房，有利于尽早开始两侧乳房的治疗。临床检测中，放射科专家会基于不同序列的成像结果来产生诊断结果，而不同序列的成像图像之间的联系不只是简单的线性关系。本发明依据深度学习方法对乳腺MRI中的4个序列图像(T1W_TSE，T2W_SPARI，DWI_SSH和DYN_eTHRIVE+C)进行处理并将特征深度融合，产生分类预测结果和分割结果。
基于目前深度学习在计算机视觉和医疗图像处理方面的迅速发展和显著成效，本发明主要利用卷积神经网络进行研究。本发明通过金字塔池化层(Spatial pyramidpooling，SPP)、主成分分析(Principal components analysis，PCA)方法和子像素卷积方法对卷积神经网络进行了优化，改进了分类和分割的过程。最后，本发明通过将改进的深度学习网络与多模态图像相结合的方式，形成了乳腺癌早筛系统。
发明内容
为克服现有技术的不足，本发明旨在提出乳腺癌早筛新装置，更好地完成边缘定位，有助于产生更精确的分割结果，进而实现乳腺癌早筛。为此，本发明采取的技术方案是，MRI图像与深度学习乳腺癌早筛系统，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块；其中，乳腺MRI图像预处理模块是用来提取T1加权成像T1W(T1-weighted imaging)、T2加权成像T2W(T2-weighted imaging)、弥散加权成像DWI和DYN_eTHRIVE+C序列图像DYN 4种模式下的图像有效区域并完成全局对比度归一化处理；数据增强模块是用来扩充数据集；卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类；分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作。
MRI图像与深度学习乳腺癌图像处理方法，步骤如下：
步骤一，乳腺MRI图像预处理，采用4种参数序列成像模式：T1W，T2W，DWI和DYN，对4种图像进行筛选，以此作为训练数据，在此基础上对图像进行预处理；
步骤二，乳腺MRI图像数据增强，通过数据增强操作来扩充数据集；
步骤三，改进用于分类任务的卷积神经网络并进行MRI图像分类预测工作；
利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果：将卷积神经网络的最后一个池化层修改为金字塔池化层，之后紧接特征融合、数据降维、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类；
步骤四，对分类后有肿瘤的图像数据进行处理。包括对图像进行标准化和数据增强处理，同时达到减小数据差异和提升数据量的目的，并进行手动分割处理；
步骤五，改进用于分割任务的卷积神经网络并进行肿瘤区域分割。
步骤一分为两个如下详细步骤：
第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁。
第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：
其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足/>表示图像大小为r×r，r为正整数，/>通过如下公式计算：
步骤二详细步骤如下：
第一，将图像分别旋转0°、90°、180°和270°，随后在图像上应用随机水平翻转来扩充数据集，对于没有改进的网络，将图像大小调整为适合不同网络的输入大小；改进后的网络采用预处理和增强后的图像作为输入；
第二，根据4种图像的成像顺序和位置将它们分组，并将图像用二分变量标记，即0，1，标签0表示图像中没有肿瘤，标签1则表示图像中有肿瘤。
步骤三中，数据降维采用主成分分析PCA方法，将特征统计率FSR定义为PCA保留的主要成分数与所有原始成分之比；
对从4种参数序列成像模式中提取出的特征进行处理并分类，过程是在图像经过卷积神经网络得到4个特征向量后，通过计算，tm表示第m张图中的特征，将4个特征向量t1，t2，t3和t4融合为1个特征向量；操作如下：
第一，用如下公式计算新的特征t′n：
第二，公式(3)中的表示线性变换得到的权重值，/>和/>表示权重值，KS、KU和KV都表示线性转换过程，用dk表示新特征的维度，可以通过下面的公式(4)和公式(5)来计算权重值：
第三，将产生的4个新的特征向量连接为1个特征向量；
第四，用主成分分析方法进行数据降维，再用分类器得到分类结果：有肿瘤图像或无肿瘤图像。
步骤四详细步骤如下：
第一，对上一步进行了分类后确定有肿瘤的图像进行数据预处理，通过数据的均值和标准差进行标准化，计算每张图的像素平均值和标准差，最后在每个像素减去平均值，再除以标准差；
第二，对标准化后的图像进行数据增强操作，与步骤二的第一步相同；
第三，对4种图像中乳腺肿瘤或疑似肿瘤的病变区域进行手动分割标注，作为用于分割任务的卷积神经网络的训练数据。
步骤五详细步骤如下：
分割网络的改进操作包括：在网络的上采样过程使用子像素卷积方法，操作分为以下2个方面：
第一，优化用于分割的卷积神经网络的采样过程，用特定的子像素卷积方法实现上采样过程，使用子像素卷积方法可以更精确地定位图像的边缘；
第二，将步骤四产生的图像作为输入，传入优化后的卷积神经网络中，对图像进行分割操作，卷积神经网络的输出分割后的图像。
本发明的特点及有益效果是：
本发明首先对深度学习网络进行了优化，不需要改变输入图像的大小，对融合后的特征进行降维，有效改进了图像分类过程。在分割网络的上采样过程中使用子像素卷积方法，更好地完成边缘定位，有助于产生更精确的分割结果。其次，利用了乳腺MRI结果中的4种序列图像，从中提取特征并进行深度融合。最后，本发明通过将改进的深度学习网络与多模态图像相结合的方式，能够实现乳腺癌早筛目的。
附图说明：
图1系统框架图。
图2 T1W图像。
图3 T2W图像。
图4 DWI图像。
图5 DYN图像。
图6含有金字塔池化层的网络结构。
图7基于多序列图像的分类识别准确率。
图8不同FSR数值下的分类识别准确率。
图9不同模型下的平均骰子系数数值。
具体实施方式
本发明的发明内容在于此系统首先对深度学习网络进行了优化，不需要改变输入图像的大小，对融合后的特征进行降维，有效改进了图像分类过程。在分割网络的上采样过程中使用子像素卷积方法，更好地完成边缘定位，有助于产生更精确的分割结果。其次，利用了乳腺MRI结果中的4种序列图像，从中提取特征并进行深度融合。最后，本系统通过将改进的深度学习网络与多模态图像相结合的方式，形成了乳腺癌早筛系统。
从整体上而言，本发明包括5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块。其中，乳腺MRI图像预处理模块是用来提取4种成像模式下的图像有效区域并完成全局对比度归一化处理；数据增强模块是用来扩充数据集；卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类；分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作。
下面结合附图和具体实例进一步详细说明本发明。
基于多序列MRI图像与深度学习的乳腺癌早筛系统的具体实现方法如下：
步骤一，乳腺MRI图像预处理。本发明主要使用了4种参数序列成像模式(T1W，T2W，DWI和DYN)，依次如图2，3，4，5所示。消除了以往方法中只使用单个序列图像的单一性和不完整性。本步骤首先需要对4种图像进行筛选，以此作为系统的训练数据，在此基础上对图像进行预处理，主要操作分为以下2个方面：
第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁。
第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：
其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足/>表示图像大小为r×r，r为正整数，/>通过如下公式计算：
步骤二，乳腺MRI图像数据增强。卷积神经网络的训练需要大量数据，而医学图像数据集通常无法达到卷积神经网络对数据的需求量，因此需要通过数据增强操作来扩充数据集。主要分为以下2个方面：
第一，将图像分别旋转0°、90°、180°和270°，随后在图像上应用随机水平翻转来扩充数据集。对于没有改进的网络，将图像大小调整为适合不同网络的输入大小；改进后的网络可以采用预处理和增强后的图像作为输入。
第二，根据4种图像的成像顺序和位置将它们分组，并将图像用二分变量标记，即0，1。标签0表示图像中没有肿瘤，标签1则表示图像中有肿瘤。
步骤三，改进用于分类任务的卷积神经网络并进行MRI图像分类预测工作。
利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果。分类网络的改进方案包括：将卷积神经网络的最后一个池化层修改为金字塔池化层，它可以在不改变输入图像大小的情况下输出固定长度的特征，之后紧接特征融合、数据降维层、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类。数据降维采用主成分分析方法，本发明将特征统计率(FSR)定义为PCA保留的主要成分数与所有原始成分之比。改进后的网络可以采用不同大小的图像作为输入，减少了修改图像大小造成的损失，降维后的数据更准确有效，不存在冗余信息，有利于提升分类准确率。
对从4种参数序列成像模式中提取出的特征进行处理并分类。主要过程是在图像经过卷积神经网络得到4个特征向量后，通过计算，tm表示第m张图中的特征，将4个特征向量t1，t2，t3和t4融合为1个特征向量。主要操作如下：
第一，用如下公式计算新的特征t′n：
第二，公式(3)中的表示线性变换得到的权重值，/>和/>表示权重值，KS、KU和KV都表示线性转换过程，用dk表示新特征的维度，可以通过下面的公式(4)和公式(5)来计算权重值：
第三，将产生的4个新的特征向量连接为1个特征向量。
第四，用主成分分析方法进行数据降维，再用分类器得到分类结果：有肿瘤或无肿瘤。
步骤四，对分类后有肿瘤的图像数据进行处理。包括对图像进行标准化和数据增强处理，同时达到减小数据差异和提升数据量的目的，并进行手动分割处理。主要操作包括：
第一，对上一步进行了分类后确定有肿瘤的图像进行数据预处理，通过数据的均值和标准差进行标准化。计算每张图的像素平均值和标准差。最后在每个像素减去平均值，再除以标准差。
第二，对标准化后的图像进行数据增强操作，与步骤二的第一步相同。
第三，对4种图像中乳腺肿瘤或疑似肿瘤的病变区域进行手动分割标注，作为用于分割任务的卷积神经网络的训练数据，标注的主要操作人是专业的放射科医师。
步骤五，改进用于分割任务的卷积神经网络并进行肿瘤区域分割。分割网络的改进操作包括：在网络的上采样过程使用子像素卷积方法，有利于在超分辨率过程中产生更好的边界定位结果，从而产生更准确的分割结果。图像分割结果如图9所示。本步骤主要操作分为以下2个方面：
第一，优化用于分割的卷积神经网络的采样过程，用特定的子像素卷积方法实现上采样过程。医学图像处理的过程中，将低分辨率图像恢复为高分辨率图像的过程称为超分辨率。使用子像素卷积方法可以更精确地定位图像的边缘。
第二，将步骤四产生的图像作为输入，传入优化后的卷积神经网络中，对图像进行分割操作。卷积神经网络的输出分割后的图像。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种MRI图像与深度学习乳腺癌早筛系统，其特征是，包括多普勒超声检查和磁共振成像装置和计算机，所述成像装置拍摄的图像输入计算机进行处理，计算机设置有5个功能模块，分别为：乳腺MRI图像预处理模块、数据增强模块、卷积神经网络优化和分类模块、分类图像数据标准化和增强模块以及卷积神经网络优化和分割模块；其中，乳腺MRI图像预处理模块是用来提取T1加权成像T1W(T1-weighted imaging)、T2加权成像T2W(T2-weightedimaging)、弥散加权成像DWI和DYN_eTHRIVE+C序列图像DYN 4种模式下的图像有效区域并完成全局对比度归一化处理，图像预处理模块执行以下步骤：
第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁；
第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：
其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足/>表示图像大小为r×r，r为正整数，/>通过如下公式计算：
数据增强模块是用来扩充数据集；
卷积神经网络优化和分类模块是用来优化用于分类的卷积神经网络并进行图像分类，利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果：将卷积神经网络的最后一个池化层修改为金字塔池化层，之后紧接特征融合、数据降维、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类，其中，数据降维采用主成分分析PCA方法，将特征统计率FSR定义为PCA保留的主要成分与所有原始成分之比；
对从4种参数序列成像模式中提取出的特征进行处理并分类，过程是在图像经过卷积神经网络得到4个特征向量后，通过计算，tm表示第m张图中的特征，将4个特征向量t1，t2，t3和t4融合为1个特征向量；操作如下：
第一，用如下公式计算新的特征t′n：
第二，公式(3)中的表示线性变换得到的权重值，/>和/>表示权重值，KS、KU和KV都表示线性转换过程，用dk表示新特征的维度，通过下面的公式(4)和公式(5)来计算权重值：
第三，将产生的4个新的特征向量连接为1个特征向量；
第四，用主成分分析方法进行数据降维，再用分类器得到分类结果：有肿瘤图像或无肿瘤图像；
分类图像数据标准化和增强模块是用来对上一步分类所得到的包含肿瘤区域的图像进行标准化和数据增强处理；
卷积神经网络优化和分割模块是用来优化用于分割任务的卷积神经网络的采样方法，提高分割准确率，对包含肿瘤的图像进行分割操作；其中，卷积神经网络的优化和分割操作包括：在卷积神经网络的上采样过程使用子像素卷积方法，操作分为以下2个方面：
第一，优化用于分割的卷积神经网络的采样过程，用特定的子像素卷积方法实现上采样过程，使用子像素卷积方法更精确地定位图像的边缘；
第二，将步骤四产生的图像作为输入，传入优化后的卷积神经网络中，对图像进行分割操作，卷积神经网络输出分割后的图像。
2.一种MRI图像与深度学习乳腺癌图像处理方法，其特征是，步骤如下：
步骤一，乳腺MRI图像预处理，采用4种参数序列成像模式：T1W，T2W，DWI和DYN，对4种图像进行筛选，以此作为训练数据，在此基础上对图像进行预处理，具体步骤如下：
第一，从每张图像中提取与肿瘤相关的有效信息，去除肺部区域，留下经常附着肿瘤的乳腺、乳房组织，膈下区域和胸腔壁；
第二，通过全局对比度归一化GCN对其进行归一化，计算每个切片图像的强度平均值，然后从图像的每个像素中减去强度平均值，用i,j表示当前像素位置，则标准化图像的新张量定义为：
其中，Mi,j表示一个图像的张量，表示该图像强度的平均值，图像M满足/>表示图像大小为r×r，r为正整数，/>通过如下公式计算：
步骤二，乳腺MRI图像数据增强，通过数据增强操作来扩充数据集；
步骤三，改进用于分类任务的卷积神经网络并进行MRI图像分类预测工作；
利用改进的卷积神经网络对从4种成像模式中提取出的特征进行融合处理并对图像产生分类结果：将卷积神经网络的最后一个池化层修改为金字塔池化层，之后紧接特征融合、数据降维、全连接层和分类层，最后根据低维度特征向量对乳腺图像进行分类为有肿瘤和无肿瘤两类，其中，
数据降维采用主成分分析PCA方法，将特征统计率FSR定义为PCA保留的主要成分与所有原始成分之比；
对从4种参数序列成像模式中提取出的特征进行处理并分类，过程是在图像经过卷积神经网络得到4个特征向量后，通过计算，tm表示第m张图中的特征，将4个特征向量t1，t2，t3和t4融合为1个特征向量；操作如下：
第一，用如下公式计算新的特征t′n：
第二，公式(3)中的表示线性变换得到的权重值，/>和/>表示权重值，KS、KU和KV都表示线性转换过程，用dk表示新特征的维度，通过下面的公式(4)和公式(5)来计算权重值：
第三，将产生的4个新的特征向量连接为1个特征向量；
第四，用主成分分析方法进行数据降维，再用分类器得到分类结果：有肿瘤图像或无肿瘤图像；
步骤四，对分类后有肿瘤的图像数据进行处理，包括对图像进行标准化和数据增强处理，同时达到减小数据差异和提升数据量的目的，并进行手动分割处理；
步骤五，改进用于分割任务的卷积神经网络并进行肿瘤区域分割，其中，卷积神经网络的改进操作包括：在卷积神经网络的上采样过程使用子像素卷积方法，操作分为以下2个方面：
第一，优化用于分割的卷积神经网络的采样过程，用特定的子像素卷积方法实现上采样过程，使用子像素卷积方法更精确地定位图像的边缘；
第二，将步骤四产生的图像作为输入，传入优化后的卷积神经网络中，对图像进行分割操作，卷积神经网络输出分割后的图像。
3.如权利要求2所述的MRI图像与深度学习乳腺癌图像处理方法，其特征是，步骤二详细步骤如下：
第一，将图像分别旋转0°、90°、180°和270°，随后在图像上应用随机水平翻转来扩充数据集，对于没有改进的卷积神经网络，将图像大小调整为适合不同卷积神经网络的输入大小；改进后的卷积神经网络采用预处理和增强后的图像作为输入；
第二，根据4种图像的成像顺序和位置将它们分组，并将图像用二分变量标记，即0，1，标签0表示图像中没有肿瘤，标签1则表示图像中有肿瘤。
4.如权利要求2所述的MRI图像与深度学习乳腺癌图像处理方法，其特征是，步骤四详细步骤如下：
第一，对上一步进行了分类后确定有肿瘤的图像进行数据预处理，通过数据的均值和标准差进行标准化，计算每张图的像素平均值和标准差，最后在每个像素减去平均值，再除以标准差；
第二，对标准化后的图像进行数据增强操作，与步骤二的第一步相同；
第三，对4种图像中乳腺肿瘤或疑似肿瘤的病变区域进行手动分割标注，作为用于分割任务的卷积神经网络的训练数据。
CN202010317229.3A 2020-04-21 2020-04-21 Mri图像与深度学习乳腺癌图像处理方法及早筛系统 Active CN111583192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010317229.3A CN111583192B (zh) 2020-04-21 2020-04-21 Mri图像与深度学习乳腺癌图像处理方法及早筛系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317229.3A CN111583192B (zh) 2020-04-21 2020-04-21 Mri图像与深度学习乳腺癌图像处理方法及早筛系统

Publications (2)

Publication Number Publication Date
CN111583192A CN111583192A (zh) 2020-08-25
CN111583192B true CN111583192B (zh) 2023-09-26

Family

ID=72111771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317229.3A Active CN111583192B (zh) 2020-04-21 2020-04-21 Mri图像与深度学习乳腺癌图像处理方法及早筛系统

Country Status (1)

Country Link
CN (1) CN111583192B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287970A (zh) * 2020-09-27 2021-01-29 山东师范大学 基于多视角多模态的乳腺能谱图像分类系统、设备及介质
CN113362325A (zh) * 2021-07-26 2021-09-07 佛山原子医疗设备有限公司 一种核医学多模态病灶图像检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464250A (zh) * 2017-07-03 2017-12-12 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109754007A (zh) * 2018-12-27 2019-05-14 武汉唐济科技有限公司 前列腺手术中外包膜智能检测和预警方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN107464250A (zh) * 2017-07-03 2017-12-12 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
CN109754007A (zh) * 2018-12-27 2019-05-14 武汉唐济科技有限公司 前列腺手术中外包膜智能检测和预警方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于特征融合的卷积神经网络乳腺癌图像分类;董永峰;刘霞;王利琴;石陆魁;河北工业大学学报;第47卷(第6期);70-74 *
增强的基于灰度共生矩阵的脑肿瘤MRI图像分类;刘大鹏;程君;黄唯;曹双亮;杨茹;照强;冯前进;;中国医学物理学杂志;第30卷(第6期);772-776 *

Also Published As

Publication number Publication date
CN111583192A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
Li et al. Attention dense-u-net for automatic breast mass segmentation in digital mammogram
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
Yang et al. Co-trained convolutional neural networks for automated detection of prostate cancer in multi-parametric MRI
US10593035B2 (en) Image-based automated measurement model to predict pelvic organ prolapse
Fathy et al. A deep learning approach for breast cancer mass detection
Tang et al. A new multi-atlas registration framework for multimodal pathological images using conventional monomodal normal atlases
Lee et al. Identifying women with mammographically-occult breast cancer leveraging GAN-simulated mammograms
Kwon et al. Ultrasonographic thyroid nodule classification using a deep convolutional neural network with surgical pathology
CN111583192B (zh) Mri图像与深度学习乳腺癌图像处理方法及早筛系统
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
TW201915947A (zh) 醫學影像之迭代式分析法
Meera et al. A review on automatic detection of brain tumor using computer aided diagnosis system through MRI
Onal et al. MRI-based segmentation of pubic bone for evaluation of pelvic organ prolapse
Hu et al. Prostategan: Mitigating data bias via prostate diffusion imaging synthesis with generative adversarial networks
Li et al. Multi-scale fusion U-net for the segmentation of breast lesions
Xu et al. Mammographic mass segmentation using multichannel and multiscale fully convolutional networks
Li et al. Predicting muscle invasion in bladder cancer based on MRI: A comparison of radiomics, and single-task and multi-task deep learning
Kalinovsky et al. Lesion detection in CT images using deep learning semantic segmentation technique
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
Khan et al. Zonal segmentation of prostate T2W-MRI using atrous convolutional neural network
Kumar et al. Multi-class Brain Tumor Classification and Segmentation using Hybrid Deep Learning Network Model
Hamed et al. Comparative study and analysis of recent computer aided diagnosis systems for masses detection in mammograms
Merati et al. A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms.
Garcia et al. Multimodal breast parenchymal patterns correlation using a patient-specific biomechanical model
Heker et al. Hierarchical fine-tuning for joint liver lesion segmentation and lesion classification in ct

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant