CN113658151B - 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 - Google Patents
一种乳腺病变磁共振图像分类方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113658151B CN113658151B CN202110972194.1A CN202110972194A CN113658151B CN 113658151 B CN113658151 B CN 113658151B CN 202110972194 A CN202110972194 A CN 202110972194A CN 113658151 B CN113658151 B CN 113658151B
- Authority
- CN
- China
- Prior art keywords
- neural network
- breast lesion
- magnetic resonance
- convolutional neural
- benign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 210000005075 mammary gland Anatomy 0.000 title claims description 6
- 210000000481 breast Anatomy 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 230000003211 malignant effect Effects 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000002597 diffusion-weighted imaging Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 27
- 238000011176 pooling Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000030270 breast disease Diseases 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 206010006220 Breast cyst Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 206010016629 fibroma Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
- G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种乳腺病变磁共振图像分类方法、设备及可读存储介质,所述方法基于一训练好的乳腺病变良恶性分类模型进行乳腺病变磁共振图像的分类,其中,所述乳腺病变良恶性分类模型基于2D卷积神经网络构建,训练过程包括如下步骤:获取包括DCE‑MRI影像和临床指标的多源训练数据;构建2D卷积神经网络Sirius,利用DCE‑MRI影像对该2D卷积神经网络进行预训练;在2D卷积神经网络的基础上添加密集连接分类器,形成混合式神经网络,通过预训练的Sirius主体提取影像特征,与临床指标量化的特征进行拼接得到多模态特征,训练混合式神经网络,建立最终的乳腺病变良恶性分类模型。与现有技术相比,本发明具有分类精度高等优点。
Description
技术领域
本发明属于计算机图像处理领域,涉及一种乳腺病变磁共振图像分类方法、设备及可读存储介质,具体为基于影像和临床指标使用多数据源训练卷积神经网络实现在乳腺磁共振图像中对乳腺病变的良恶性进行分类的方法、设备及可读存储介质。
背景技术
乳腺病变已成为困扰女性健康的头号问题,它是乳腺囊肿、乳腺增生、乳腺纤维瘤和乳腺良恶性肿瘤的统称。目前,在临床实践中,其主要由病理组织检验和放射医师对医学影像的肉眼观察做出诊断。由于其发病机理的不确定性和病情隐匿性,易出现误诊、漏诊情况,无法在早期及时发现乳腺病变成了导致乳腺癌的发病率与死亡率逐年升高的元凶。因此,乳腺病变分类方法的研究,不仅能够辅助临床医师减轻工作量,同时还能为乳腺病患者提供更精确的诊断和评估。
现有关于乳腺病变的良恶性鉴别研究大多数是通过公共数据集、竞赛数据集或医学中心采集的数据建立模型,而这些数据集影像源数据的模态多为乳腺钼靶X射线,相当数量的研究也是基于乳腺钼靶X射线影像模态,分类精度并不高。
目前国内外有关乳腺病变分类研究主要还存在以下不足:(1)从数据模态角度,传统方法一般仅适用医学影像数据;(2)从网络模型角度,传统方法使用传统机器学习,往往需要感兴趣区域的精准勾画,复杂度较高;(3)从临床的数学统计角度,传统方法过度依赖P值等统计学量度,临床方面的可解释性较低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种分类精度高、适用于小规模数据的乳腺病变磁共振图像分类方法、设备及可读存储介质。
本发明的目的可以通过以下技术方案来实现:
一种乳腺病变磁共振图像分类方法,该方法基于一训练好的乳腺病变良恶性分类模型进行乳腺病变磁共振图像的分类,其中,
所述乳腺病变良恶性分类模型基于2D卷积神经网络构建,训练过程包括如下步骤:
获取包括DCE-MRI影像和临床指标的多源训练数据;
构建2D卷积神经网络Sirius,利用DCE-MRI影像对该2D卷积神经网络进行预训练;
在所述2D卷积神经网络的基础上添加密集连接分类器,形成混合式神经网络,通过预训练的Sirius主体提取影像特征,与临床指标量化的特征进行拼接得到多模态特征,基于该多模态特征训练所述混合式神经网络,建立最终的乳腺病变良恶性分类模型。
进一步地,基于所述多源训练数据提取感兴趣区域,建立乳腺病变良恶性鉴别数据集。
进一步地,使用滑动窗口来提取所述感兴趣区域。
进一步地,所述感兴趣区域大小设置为64像素×64像素。
进一步地,对所述感兴趣区域进行数据增强操作后建立所述乳腺病变良恶性鉴别数据集。
进一步地,所述数据增强操作包括平移、旋转和/或缩放。
进一步地,所述2D卷积神经网络包括Conv Block结构块、ACBlock结构块和UlsamBlock结构块,并采用Add操作、跳跃连接操作和Concatenate操作进行影像特征提取。
进一步地,所述DCE-MRI影像包括乳腺病变的磁共振图像、对应的弥散加权成像以及病例数据。
进一步地,所述临床指标包括表观扩散系数、BI-RADS等级和时间-信号曲线。
本发明还提供一种电子设备,包括:
一个或多个处理器;
存储器;和
被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行如上所述乳腺病变磁共振图像分类方法的指令。
本发明还提供一种计算机可读存储介质,包括供电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行如上所述乳腺病变磁共振图像分类方法的指令。
与现有技术相比,本发明具有以下有益效果:
1、本发明通过卷积神经网络自动提取DCE-MRI影像特征,避免了单一数据源通过卷积神经网络建模在临床方面的可解释性较低的问题,基于影像和临床指标思想,使用多数据源临床指标的拼接共同构建乳腺病变良恶性分类模型,同时解决了小规模数据下的模型构建问题。
2、本发明同时采用影像和临床指标作为训练特征,同时使用深度学习,对精准分割感兴趣区域呈弱依赖性,使用方便,同时能够保证较高精度。
附图说明
图1为本发明方法的流程框图;
图2为卷积神经网络架构图;
图3为Conv Block、ACBlock和UlsamBlock的架构图;
图4为基于影像和临床指标的乳腺病变分类模型训练优化过程。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
乳腺磁共振影像检查虽然价格高、时间较长,却能够对病变区域形态学结构有清晰的反映、对正常腺体和乳腺病变间功能代谢差异有客观的评估,尽快构建乳腺病变磁共振图像分类方法具有重要意义。但现有基于核磁共振的乳腺病变分类研究在类型上分为两大类:(1)受公共数据集数据类型限制,核磁共振公共数据集少且数据集容量小,相关研究多采用迁移学习方法;(2)单一数据源的基于卷积神经网络的乳腺核磁共振分析方式仅通过影像进行研究,考虑到卷积神经网络的黑盒效应,临床方面的可解释性较低。
本发明基于上述研究,提出一种基于影像和临床指标的乳腺病变磁共振图像分类方法,着重解决了现有多信源乳腺病变相关信息磁共振图像分析方式在临床方面可解释性低以及小规模数据下的模型构建问题。该方法基于一训练好的乳腺病变良恶性分类模型进行乳腺病变磁共振图像的分类,所述乳腺病变良恶性分类模型基于2D卷积神经网络构建,并基于DCE-MRI影像和临床指标训练获得。
如图1所示,乳腺病变良恶性分类模型的具体训练验证过程包括如下步骤:
步骤1,收集有乳腺病变的磁共振图像(DCE-MRI)、对应的弥散加权成像以及经组织病理证实的病例数据,提取感兴趣区域,构建乳腺病变良恶性鉴别数据库,进行数据集划分与数据增强。
DCE-MRI原始数据分为Dyn和Sdyn,Dyn分为S0~S4五组时间相位,Sdyn则是S0~S3四组时间相位,临床指标部分BI-RADS原0~Ⅵ级特征化为0~7,表观扩散系数ADC维持原有取值,MR增强曲线TIC上升、平台和流出三种类型分别对应0~2。通过对不同时间相位影像有效性验证,得知组合时间相位DynS024具有最佳的乳腺病变分类任务适应性,故后续步骤基于该时间相位。
感兴趣区域的提取是以放射科医师勾画的金标准为基准,按时间轴从病变出现到病变消失截止的影像,将病变中心作为形心,截取一系列64×64的正方形区域,通过高斯滤波的影像预处理后进行平移、旋转、镜像翻转等一系列数据扩增,将其用作乳腺病变良恶性分类模型的输入。本实施例中,使用有效的滑动窗口方法来提取所述感兴趣区域,形成训练数据。
步骤2,构建用于提取乳腺不同类型病变特征的2D卷积神经网络(Sirius网络,2D-CNN),使用ACBlock、Ulsam Block和Conv Block结构块,如图3所示,以及Add、跳跃连接和Concatenate等操作。如图2所示,该网络架构包括:Conv2D卷积层、LeakyReLU激活层、BatchNorlization(BN)归一化层、MaxPooling2D池化层、Dense全连接层、Sigmoid分类层,图2中,标号(1)、(6)、(8)、(10)、(13)、(14)、(15)和(16)为卷积块Conv,标号(2)为ConvBlock,标号(3)和(7)为池化层,标号(5)和(9)为ACBlock,标号(11)和(12)为Ulsam Block,其余未标注的为BN+LeakyReLU。
Conv2D卷积层:用于完成乳腺病变二维信号特征的提取;
LeakyReLU激活层:增强模型非线性表达能力,有效避免ReLU激活后部分神经元失效、网络优化受限;
BatchNorlization归一化层:防止特征偏移,加快模型训练速度;
MaxPooling2D池化层:对输入特征图进行降维,扩大感受野;
Dense全连接层:将所习特征进行转化映射至样本标记空间,进行分类;
Softmax分类层:为确保有效的注意力加权,采用Softmax作为门控机制。
为了提高小容量、低空间复杂度网络的学习效率,Ulsam Block引入子空间注意力机制。该机制专门应对细粒度图像分类问题,针对不同特征图生成不同注意力图,这有助于网络提取到多样尺度和丰富频率的特征。ACBlock中的3×3卷积同3×1与1×3非对称卷积的组合是等效的,这一特点决定在推理测试阶段,该结构组块通过非对称卷积与对称卷积的融合便不会出现多余的计算量,在训练阶段则更专注于特征提取的强化,从而得到高表征能力、强相关的特征。
步骤3,基于影像进行Sirius网络的预训练。
该步骤中使用DCE-MRI单一数据源训练所提出的卷积神经网络Sirius,具体包括:
31)对卷积神经网络训练参数进行设置,批处理尺寸为32,初始学习率为0.001,优化函数选取Adabound,会在训练优化过程中根据损失函数变化程度自动调整学习率大小;
32)使用DCE-MRI中组合相位DynS024进行实验,数据集划分出训练集和验证集,其中训练集输入至CNN中进行训练;
33)通过验证集对模型性能进行验证和评估,良性病变标签为0,恶性病变标签为1;最终通过Sigmoid激活函数输出良恶性病变的概率。
步骤4,基于影像和临床指标进行混合式神经网络的训练。
采用DCE-MRI单一数据源以及表观扩散系数、BI-RADS等级和时间-信号曲线等临床指标组成的多数据源训练混合式神经网络,该网络在Sirius的基础上额外添加了新的密集连接分类器。通过预训练的Sirius提取影像特征,与临床指标量化的特征进行拼接得到多模态特征,进而训练混合式神经网络,从而建立最终的乳腺良恶性病变分类模型。
卷积神经网络有自动学习特征的能力,卷积层用于提取分布式特征,浅层提取细节特征,深层则是对细节特征加以组合提取抽象特征,如乳腺病变边缘光滑、肿块类圆形、内部信号均一等;池化层一方面缩小特征图的空间维度以减少计算量,另一方面提取特征图中不变的有效信息的同时,增大感受野。卷积层与池化层交替出现用作模型的特征学习模块,密集连接层则用于将特征图映射至样本标记空间进行分类。因此,根据上述原理,步骤4具体为:
41)将DCE-MRI影像输入预训练的Sirius网络主体进行特征提取;
42)将临床指标特征化处理,形成量化特征;
43)特征化处理后的临床指标特征与影像特征进行特征拼接,得到多模态特征;
44)拼接后特征进行分类网络的训练;
45)模型训练后进行模型验证与评估,通过Sigmoid激活函数输出良恶性病变的概率。与之前相同,良性病变标签为0,恶性病变标签为1。
如图2所示,在本实施例中,乳腺病变良恶性鉴别的二维卷积神经网络Sirius的功能层主要由两个ACNet Block、两个Ulsam Block、两个最大池化层、两个拼接层、十三个卷积层和一个密集连接分类器组成。Conv Block、ACNet Block和Ulsam Block层具体参数设置见表1~4,步骤(4)采用的混合式神经网络具体参数设置见表5。
表1 卷积神经网络具体参数设置
表2 Ulsam Block层具体参数设置
表3 ACNet Block层具体参数设置
表4 Conv Block层具体参数设置
表5 混合式神经网络具体参数设置
基于两种数据来源的模型分别经过五折交叉验证实验,基于影像和临床指标的乳腺病变分类方法模型五折交叉验证的其中一折训练优化过程如图4所示。对实验结果取平均值如表6所示,可以发现基于影像和临床指标的乳腺病变分类方法模型整体性能优于基于影像的分类方法,能够自动对乳腺良恶性病变进行分类,不同于传统机器学习,该方法无需手动制作特征,显著降低人工成本,在辅助临床医师方面具备一定的参考价值。
表6 基于影像和基于影像和临床指标的乳腺病变分类模型性能对比
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例2
本实施例提供一种电子设备,包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行如实施例1所述方法的指令。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (9)
1.一种乳腺病变磁共振图像分类方法,其特征在于,该方法基于一训练好的乳腺病变良恶性分类模型进行乳腺病变磁共振图像的分类,其中,
所述乳腺病变良恶性分类模型基于2D卷积神经网络构建,训练过程包括如下步骤:
获取包括DCE-MRI影像和临床指标的多源训练数据;
构建2D卷积神经网络Sirius,利用DCE-MRI影像对该2D卷积神经网络进行预训练;
在所述2D卷积神经网络的基础上添加密集连接分类器,形成混合式神经网络,通过预训练的Sirius主体提取影像特征,与临床指标量化的特征进行拼接得到多模态特征,基于该多模态特征训练所述混合式神经网络,建立最终的乳腺病变良恶性分类模型;
DCE-MRI原始数据分为Dyn和Sdyn,Dyn分为S0~S4五组时间相位,Sdyn则是S0~S3四组时间相位,临床指标部分BI-RADS原0~Ⅵ级特征化为0~7,表观扩散系数ADC维持原有取值,MR增强曲线TIC上升、平台和流出三种类型分别对应0~2,通过对不同时间相位影像有效性验证,得知组合时间相位DynS024具有最佳的乳腺病变分类任务适应性,故后续步骤基于该时间相位;
所述2D卷积神经网络包括Conv Block结构块、ACBlock结构块和UlsamBlock结构块,并采用Add操作、跳跃连接操作和Concatenate操作进行影像特征提取,Ulsam Block引入子空间注意力机制,ACBlock中的3×3卷积同3×1与1×3非对称卷积的组合是等效的。
2.根据权利要求1所述的乳腺病变磁共振图像分类方法,其特征在于,基于所述多源训练数据提取感兴趣区域,建立乳腺病变良恶性鉴别数据集。
3.根据权利要求2所述的乳腺病变磁共振图像分类方法,其特征在于,使用滑动窗口来提取所述感兴趣区域。
4.根据权利要求2所述的乳腺病变磁共振图像分类方法,其特征在于,对所述感兴趣区域进行数据增强操作后建立所述乳腺病变良恶性鉴别数据集。
5.根据权利要求4所述的乳腺病变磁共振图像分类方法,其特征在于,所述数据增强操作包括平移、旋转和/或缩放。
6.根据权利要求1所述的乳腺病变磁共振图像分类方法,其特征在于,所述DCE-MRI影像包括乳腺病变的磁共振图像、对应的弥散加权成像以及病例数据。
7.根据权利要求1所述的乳腺病变磁共振图像分类方法,其特征在于,所述临床指标包括表观扩散系数、BI-RADS等级和时间-信号曲线。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;和
被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行如权利要求1-7任一所述乳腺病变磁共振图像分类方法的指令。
9.一种计算机可读存储介质,其特征在于,包括供电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行如权利要求1-7任一所述乳腺病变磁共振图像分类方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972194.1A CN113658151B (zh) | 2021-08-24 | 2021-08-24 | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110972194.1A CN113658151B (zh) | 2021-08-24 | 2021-08-24 | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658151A CN113658151A (zh) | 2021-11-16 |
CN113658151B true CN113658151B (zh) | 2023-11-24 |
Family
ID=78492601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110972194.1A Active CN113658151B (zh) | 2021-08-24 | 2021-08-24 | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658151B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220984A (zh) * | 2017-05-05 | 2017-09-29 | 上海联影医疗科技有限公司 | 一种图像分割方法、系统及网格模型 |
CN107220965A (zh) * | 2017-05-05 | 2017-09-29 | 上海联影医疗科技有限公司 | 一种图像分割方法及系统 |
CN109272024A (zh) * | 2018-08-29 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的图像融合方法 |
CN111260639A (zh) * | 2020-01-19 | 2020-06-09 | 浙江工业大学之江学院 | 多视角信息协作的乳腺良恶性肿瘤分类方法 |
CN111275116A (zh) * | 2020-01-20 | 2020-06-12 | 太原理工大学 | 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法 |
CN112348082A (zh) * | 2020-11-06 | 2021-02-09 | 上海依智医疗技术有限公司 | 深度学习模型构建方法、影像处理方法及可读存储介质 |
-
2021
- 2021-08-24 CN CN202110972194.1A patent/CN113658151B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220984A (zh) * | 2017-05-05 | 2017-09-29 | 上海联影医疗科技有限公司 | 一种图像分割方法、系统及网格模型 |
CN107220965A (zh) * | 2017-05-05 | 2017-09-29 | 上海联影医疗科技有限公司 | 一种图像分割方法及系统 |
CN109272024A (zh) * | 2018-08-29 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的图像融合方法 |
CN111260639A (zh) * | 2020-01-19 | 2020-06-09 | 浙江工业大学之江学院 | 多视角信息协作的乳腺良恶性肿瘤分类方法 |
CN111275116A (zh) * | 2020-01-20 | 2020-06-12 | 太原理工大学 | 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法 |
CN112348082A (zh) * | 2020-11-06 | 2021-02-09 | 上海依智医疗技术有限公司 | 深度学习模型构建方法、影像处理方法及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113658151A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xue et al. | An application of transfer learning and ensemble learning techniques for cervical histopathology image classification | |
Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
Huang et al. | A ViT-AMC network with adaptive model fusion and multiobjective optimization for interpretable laryngeal tumor grading from histopathological images | |
CN106408001A (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
CN113610859B (zh) | 一种基于超声图像的甲状腺结节自动分割方法 | |
Li et al. | Automatic recognition and classification system of thyroid nodules in CT images based on CNN | |
Wu et al. | Ultrasound image segmentation method for thyroid nodules using ASPP fusion features | |
Ye et al. | Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network | |
CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
CN110570419A (zh) | 特征信息的获取方法、装置和存储介质 | |
Chen et al. | Breast tumor classification in ultrasound images by fusion of deep convolutional neural network and shallow LBP feature | |
CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
Dong et al. | A novel feature fusion based deep learning framework for white blood cell classification | |
Aslam et al. | Liver-tumor detection using CNN ResUNet | |
Cheng et al. | Feature fusion based on convolutional neural network for breast cancer auxiliary diagnosis | |
Shi et al. | Automatic detection of pulmonary nodules in CT images based on 3D Res-I network | |
Hassan et al. | A dilated residual hierarchically fashioned segmentation framework for extracting gleason tissues and grading prostate cancer from whole slide images | |
Kriti et al. | A review of Segmentation Algorithms Applied to B-Mode breast ultrasound images: a characterization Approach | |
Gaur et al. | Cloud driven framework for skin cancer detection using deep CNN | |
Wu et al. | An Effective Machine-Learning Based Feature Extraction/RecognitionModel for Fetal Heart Defect Detection from 2D Ultrasonic Imageries. | |
Ning et al. | Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image | |
Kumaraswamy et al. | Automatic prostate segmentation of magnetic resonance imaging using Res-Net | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
Rajput et al. | A transfer learning-based brain tumor classification using magnetic resonance images | |
CN113658151B (zh) | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |