CN111476793B - 动态增强磁共振成像处理方法、系统、存储介质、终端 - Google Patents

动态增强磁共振成像处理方法、系统、存储介质、终端 Download PDF

Info

Publication number
CN111476793B
CN111476793B CN202010160282.7A CN202010160282A CN111476793B CN 111476793 B CN111476793 B CN 111476793B CN 202010160282 A CN202010160282 A CN 202010160282A CN 111476793 B CN111476793 B CN 111476793B
Authority
CN
China
Prior art keywords
image
region
tumor
model
submodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010160282.7A
Other languages
English (en)
Other versions
CN111476793A (zh
Inventor
侯榆青
邓鹏飞
赵凤军
陈吉新
董迪迪
周昊文
陈欣
贺小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202010160282.7A priority Critical patent/CN111476793B/zh
Publication of CN111476793A publication Critical patent/CN111476793A/zh
Application granted granted Critical
Publication of CN111476793B publication Critical patent/CN111476793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于医学图像处理、计算机辅助诊断技术领域，公开了一种动态增强磁共振成像处理方法、系统、存储介质、终端，在获取的乳腺癌DCE‑MRI的多期图像中，对原发肿瘤区域进行全自动分割和处理；对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，划取三种尺度的感兴趣区域；同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构，用于特征的提取与融合；将三种尺度下得到的多期融合特征送入软聚合模型中，用于整体特征的聚合，得到不同任务的预测结果。本发明克服了浅层架构的局限性，极大地提升了预测精度；可以直观地为乳腺癌患者的手术治疗提供完善的术前参考信息。

Description

动态增强磁共振成像处理方法、系统、存储介质、终端
技术领域
本发明属于医学图像处理、计算机辅助诊断技术领域，尤其涉及一种动态增强磁共振成像(DCE-MRI)处理方法、系统、存储介质、终端。
背景技术
目前，乳腺癌是影响世界各地妇女最常见的恶性肿瘤，其较高的发病率和死亡率严重威胁着全球女性的身体健康。若是能早期发现、早期诊断乳腺癌肿瘤的相关信息，从而制定个性化治疗手段，可极大地降低乳腺癌患者的死亡率，取得良好的效果。术前确定乳腺癌肿瘤的良恶性、分子分型情况以及前哨淋巴结转移特性等都是对患者进行手术治疗安排的重要因素，目前临床上通常采用影像科医生阅片以及活检的形式来确定乳腺癌肿瘤的相关信息。但由于部分医生经验不足以及各地医院成像设备的参差不齐，仅通过肉眼阅片的形式来确定乳腺癌肿瘤信息就存在很大的误差。而活检作为一种侵入式手术，会给患者带来很多的并发症，造成长期的伤害。因此，建立一种可以术前无创预测乳腺癌肿瘤相关信息的诊断系统就具有十分重要的临床意义。目前已有一些针对乳腺癌的计算机辅助诊断系统被提出，但这些系统通常采用的都是传统的机器学习方法，并且只针对肿瘤的良恶性这一个问题进行研究。传统的机器学习方法需要人工计算图像特征，所涉及的流程复杂并且差异性较大，无法在乳腺癌肿瘤多种信息的诊断中扩展应用。近年来，基于深度学习的方法开始用于乳腺癌的诊断，但仍处于起步阶段。在采用的图像数据方面，使用的通常是单一的X光片、CT图像，或是经过简单处理的MRI图，而动态增强磁共振作为对乳腺病变诊断准确性最高的成像技术，却很少被充分使用。在划取感兴趣区域时，通常采用影像科医生手动勾画肿瘤的方式，并只选取单一尺度的感兴趣区域框，这也限制着计算机辅助诊断系统在乳腺癌多种相关信息诊断中的应用。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统机器学习方法流程复杂且差异性较大，在该领域无法扩展应用。
(2)动态增强磁共振成像技术包含多期有时间序列的图像，现有方法没有充分利用其多期图像信息，导致诊断效果欠佳。
(3)深度学习在该领域研究较少，所提出的网络较为简单，无法应用于乳腺癌多种信息的诊断。
解决以上问题及缺陷的难度为：
(1)基于传统机器学习对于乳腺癌的诊断，由于流程复杂，有效的特征提取、特征选择方法以及适合的分类器的采用都具有较大难度。
(2)动态增强磁共振成像技术具有多期图像，并且图像之间还具有时序关系，如何在系统中挖掘多期图像的时序信息具有很大的困难。
(3)深度学习在乳腺癌应用中的研究尚处于起步状态，如何设计网络使其能用于诊断乳腺癌的多种信息便具有较大难度。
解决以上问题及缺陷的意义为：
(1)自动地选择有用特征并将特征选择和分类器应用等步骤都集成在一个模型中，可以使系统在乳腺癌诊断的多个应用中扩展使用，提高精度的同时降低流程的复杂性。
(2)动态增强磁共振成像技术是目前对乳腺病变诊断准确性最高的方法，充分地利用其具有时序信息的多期图像，可以较大地提高乳腺癌诊断的准确性；
(3)复杂、有效的深度学习网络可以用于诊断乳腺癌肿瘤的良恶性、分子分型情况以及前哨淋巴结转移特性等任务，为乳腺癌患者的手术治疗提供完善的术前参考信息，极大地提高病人的生存率。
发明内容
针对现有技术存在的问题，本发明提供了一种动态增强磁共振成像处理方法、系统、存储介质、终端。
本发明是这样实现的，一种动态增强磁共振成像处理方法，所述动态增强磁共振成像处理方法是在获取的乳腺癌DCE-MRI的多期图像中，对原发肿瘤区域进行全自动分割和处理；对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式划取三种尺度的感兴趣区域；同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构，用于特征的提取与融合；将三种尺度下得到的多期融合特征送入软聚合模型中，用于整体特征的聚合，并使用一个可变的Softmax层得到不同任务的预测结果。
进一步，所述动态增强磁共振成像处理方法包括：
第一步，肿瘤区域的全自动分割和处理，将乳腺癌DCE-MRI中肿瘤对比度最强的单期图像送入三维全卷积神经网络中，进行以三维像素块为单位的像素级分割；对初步的分割结果使用全连接的条件随机场作后处理，得到更为连续的分割输出；将单期的分割结果同步应用到DCE-MRI的多期图像中，从而完成对乳腺癌肿瘤区域的全自动分割；
第二步，多尺度感兴趣区域的划取，以分割结果为基础，对所有图像做掩模处理，使得图像中只保留肿瘤信息，去除瘤周信息；根据处理后的肿块区域图像，找到所有图像中肿瘤区域最大的数据信息；将二维切片图像中肿块的几何中心定位，以最大肿瘤的尺寸为准构建第一个尺度的感兴趣区域；对已得到的第一个尺寸进行下采样，得到第二个尺度的感兴趣区域；同理，再对第二个尺寸进行下采样，构建第三个尺度的感兴趣区域；将这三个尺度应用到所有数据中，即可完成多尺度感兴趣区域的划取；
第三步，多期图像特征的提取与融合，三种不同尺度下的感兴趣区域都是具有多期图像的，将其作为输入，同时送入三个结合了卷积神经网络与长短期记性网络的连接结构，其中卷积神经网络用于提取多期图像的特征，长短期记性网络则能将同一尺度下的多期图像特征融合；输入的感兴趣区域图像通过这三个相同的结构可得到三个融合特征图；
第四步，多尺度聚合神经网络的训练与预测，将三种尺度下得到的三个多期融合特征图送入软聚合模型中，得到整体特征的聚合结果；软聚合模型是一个门控循环单元，通过得到聚合了多尺度数据的整体特征图，随后使用一个可变的Softmax层，得到不同任务的预测结果，构建了整个多尺度聚合诊断系统；在训练模型时使用迁移学习的思想，并通过验证集确定模型的最优参数，最终将测试数据输入模型中，即可完成对乳腺癌肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。
进一步，所述第一步在获取的DCE-MRI的多期图像中，对乳腺癌肿瘤区域进行全自动分割和处理包括：
(1)找出DCE-MRI多期图像中肿瘤对比度最强的单期图像；
(2)以该单期图像建立训练样本集，对样本集中的图像进行规范化和标准化处理；
(3)将处理后的图像送入三维全卷积神经网络中，训练分割模型，使用的全卷积神经网络包含多个卷积层，每层l∈[1,L]包含了Cl个特征图，每个特征图即是一组用于抽取特定特征的神经元，特征则由每个特征图对应的权重定义，第l层的第m个特征图经过激活之后构成了此层的输出图像：
Figure BDA0002405526540000041
其中
Figure BDA0002405526540000042
为三维卷积核，
Figure BDA0002405526540000043
为偏置，
Figure BDA0002405526540000044
表示第l层的第m个特征图经过激活之后的输出图像，最后一个卷积层输出经过激活函数后被送入softmax函数，得到每个像素属于类别c的后验概率：
Figure BDA0002405526540000045
其中x表示三维的像素块，pc(x)代表x属于类别c的概率，最终即完成像素块级别三维的分割；
(4)将网络得到的初步分割结果送入全连接的条件随机场中作后处理，条件随机场可以根据当前像素点及其邻域像素点的分类结果综合判断当前像素点的最终类别，得到更为连续的分割输出；
(5)使用训练好的分割模型，将单期图像的分割结果同步应用到DCE-MRI的多期图像中，完成对乳腺癌肿瘤区域的全自动分割。
进一步，所述第二步多尺度感兴趣区域的划取包括：
(1)以分割结果为基础，对所有图像做掩模处理，使得图像中只保留肿瘤信息，去除瘤周信息；
(2)根据处理后的肿块区域图像，找到所有图像中肿瘤区域最大的数据信息；
(3)定位二维切片图像中肿瘤区域的几何中心C；
(4)以最大肿瘤区域的几何中心C为准，构建第一个尺度为L1×L1的感兴趣区，该尺度涵盖所有肿瘤的细节信息；
(5)对第一个尺度为L1×L1的感兴趣区域进行s倍的下采样，可得到尺寸为(L1/s)×(L1/s)的分辨率图像，记为第二个尺度为L2×L2的感兴趣区域，把第一个感兴趣区域s×s窗口内的图像变成一个像素，像素点的值就是窗口内所有像素的均值；
(6)将第二个尺度为L2×L2的感兴趣区域进行s倍的下采样，可得到尺寸为(L2/s)×(L2/s)的分辨率图像，记为第三个尺度为L3×L3的感兴趣区域；
(7)将三个尺度信息应用到所有数据中，完成多尺度感兴趣区域的划取。
进一步，所述第三步多期图像特征的提取与融合包括：
(1)将同一尺度下的多期感兴趣区域送入卷积神经网络中，用于特征的提取，得到多个特征图D；
(2)将卷积神经网络提取到的多个特征图D送入长短期记性网络中，用于多期特征的融合，得到一个融合特征图M；
(3)三种尺度下的多期感兴趣区域通过结合卷积神经网络与长短期记性网络的连接结构，得到三个融合特征图M1、M2、M3。
进一步，所述第四步多尺度聚合深度网络的训练与预测包括：
(1)将三个融合特征图M1、M2、M3送入软聚合模型中；
(2)软聚合模型采用的是一个门控循环单元，通过其聚合得到一个整体特征图N；
(3)将特征图N送入一个可变的Softmax层，根据不同的训练任务，可得到不同预测结果的输出，整个多尺度聚合网络在训练时使用交叉熵作为损失函数：
Figure BDA0002405526540000061
其中Ik和Ck分别表示第k张感兴趣区域图像及其对应的标签，Θ表示模型中要估计的所有权重和偏差，K是训练样本的总数；
(4)训练整个多尺度聚合模型时首先将模型在ImageNet公开数据集上进行预训练，之后再使用构建好的训练集样本对模型进行微调；
(5)将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型；
(6)将测试数据送入最终得到的多尺度聚合网络中，即可用于预测乳腺癌DCE-MRI图像中肿瘤的相关信息。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行下列步骤：在获取的乳腺癌DCE-MRI的多期图像中，对原发肿瘤区域进行全自动分割和处理；对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式划取三种尺度的感兴趣区域；同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构，用于特征的提取与融合；将三种尺度下得到的多期融合特征送入软聚合模型中，用于整体特征的聚合，并使用一个可变的Softmax层得到不同任务的预测结果。
本发明的另一目的在于提供一种实施所述动态增强磁共振成像处理方法的动态增强磁共振成像处理系统，所述动态增强磁共振成像处理系统包括：
数据获取模块，用于乳腺癌DCE-MRI数据的获取，纳入符合标准的病人数据信息；
肿瘤区域图像处理模块，用于肿瘤区域的全自动分割和处理，使用三维全卷积神经网络自动分割乳腺癌肿瘤区域，并用全连接的条件随机场作后处理；
感兴趣区域图像构建模块，用于多尺度感兴趣区域的划取，对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式构建三种尺度的感兴趣区域；
特征提取与融合模块，用于多期图像特征的提取与融合，使用结合了卷积神经网络与长短期记性网络的连接结构，对同一尺度下的多期感兴趣区域进行特征的提取与融合；
融合特征图聚合模块，用于多尺度聚合神经网络的训练与预测，使用软聚合策略将多个尺度的融合特征图进行聚合，并用可变的Softmax层得到不同任务的预测结果；完成对乳腺癌DCE-MRI图像中肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。
本发明的另一目的在于提供一种终端，所述终端搭载所述的动态增强磁共振成像处理系统。
本发明的另一目的在于提供一种所述动态增强磁共振成像处理方法的动态增强磁共振成像的图像分割和检测中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过卷积神经网络与长短期记性网络的组合结构，充分利用了乳腺癌DCE-MRI的多期图像，并挖掘了其时序信息；通过多尺度聚合的复杂深度网络，克服了浅层架构的局限性，极大地提升了预测精度；本发明可用于预测乳腺癌DCE-MRI的良恶性、分子分型情况以及前哨淋巴结转移特性等多种诊断问题，可以直观地为乳腺癌患者的手术治疗提供完善的术前参考信息。
本发明将卷积神经网络与长短期记性网络的组合结构用于乳腺癌DCE-MRI图像的诊断问题中，充分利用了DCE-MRI的多期图像，可自动学习特征，并挖掘了其时序信息；本发明构建了自动的三维全卷积分割网络，解决了人工分割乳腺癌肿块费时费力的问题；本发明构建了基于门控循环单元的软聚合策略，整个多尺度聚合深度结构复杂且有效，解决了浅层架构的局限性。
本发明的网络结构具有记忆性，网络的总损失为所有时刻损失函数之和，该结构可在模型训练时降低总体损失，从而提升模型的预测性能，与传统方法相比具有更高的准确度；本发明可用于预测乳腺癌DCE-MRI图像中肿瘤的良恶性、分子分型情况以及前哨淋巴结转移特性等多种诊断问题，可以直观地为乳腺癌患者的手术治疗提供完善的术前参考信息。
附图说明
图1是本发明实施例提供的动态增强磁共振成像处理方法流程图。
图2是本发明实施例提供的动态增强磁共振成像处理系统的结构示意图；
图中：1、数据获取模块；2、肿瘤区域图像处理模块；3、感兴趣区域图像构建模块；4、特征提取与融合模块；5、融合特征图聚合模块。
图3是本发明实施例提供的动态增强磁共振成像处理方法技术流程图。
图4是本发明实施例提供的软聚合模型结构图。
图5是本发明实施例提供的多尺度聚合神经网络的模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种动态增强磁共振成像处理方法、系统、存储介质、终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的动态增强磁共振成像处理方法包括以下步骤：
S101：乳腺癌DCE-MRI数据的获取，纳入符合标准的病人数据信息；
S102：肿瘤区域的全自动分割和处理，使用三维全卷积神经网络自动分割乳腺癌肿瘤区域，并用全连接的条件随机场作后处理；
S103：多尺度感兴趣区域的划取，对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式构建三种尺度的感兴趣区域；
S104：多期图像特征的提取与融合，使用结合了卷积神经网络与长短期记性网络的连接结构，对同一尺度下的多期感兴趣区域进行特征的提取与融合；
S105：多尺度聚合神经网络的训练与预测，使用软聚合策略将多个尺度的融合特征图进行聚合，并用可变的Softmax层得到不同任务的预测结果；从而完成对乳腺癌DCE-MRI图像中肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。
如图2所示，本发明提供的动态增强磁共振成像处理系统包括：
数据获取模块1，用于乳腺癌DCE-MRI数据的获取，纳入符合标准的病人数据信息。
肿瘤区域图像处理模块2，用于肿瘤区域的全自动分割和处理，使用三维全卷积神经网络自动分割乳腺癌肿瘤区域，并用全连接的条件随机场作后处理。
感兴趣区域图像构建模块3，用于多尺度感兴趣区域的划取，对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式构建三种尺度的感兴趣区域。
特征提取与融合模块4，用于多期图像特征的提取与融合，使用结合了卷积神经网络与长短期记性网络的连接结构，对同一尺度下的多期感兴趣区域进行特征的提取与融合。
融合特征图聚合模块5，用于多尺度聚合神经网络的训练与预测，使用软聚合策略将多个尺度的融合特征图进行聚合，并用可变的Softmax层得到不同任务的预测结果；完成对乳腺癌DCE-MRI图像中肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示，本发明提供的动态增强磁共振成像处理方法具体包括以下步骤：
(1)乳腺癌DCE-MRI数据的获取，纳入符合标准的病人数据信息，具体过程如下：
(1a)本例使用数据是乳腺癌DCE-MRI图像，来自西安交通大学第二附属医院的影像归档和通信系统，DCE-MRI包括增强后的5期图像；
(1b)纳入标准如下：一、在治疗前7天内进行了DCE-MRI检查，二、通过手术经病理证实为乳腺癌患者，三、通过手术已确认肿瘤的良恶性、分子分型情况以及前哨淋巴结状态，四、肿瘤形状为肿块型；
(1c)共入组了153例符合标准的乳腺癌患者的DCE-MRI图像数据；
(1d)将其中92例患者数据设置为训练集，15例设置为验证集，46例设置为测试集。
(2)肿瘤区域的全自动分割和处理，使用三维全卷积神经网络自动分割乳腺癌肿瘤区域，并用全连接的条件随机场作后处理，具体过程如下：
(2a)DCE-MRI包含增强后的5期图像，5期图像的肿瘤位置相同，其中第3期图像的肿瘤区域具有最强的对比度；
(2b)以第3期图像为准，构建包含了92例患者数据的训练样本集，对样本集中的图像进行规范化和标准化处理；
(2c)将处理后的样本图像送入三维全卷积神经网络中，训练分割模型，使用的全卷积神经网络包含多个卷积层，每层l∈[1,L]包含了Cl个特征图，每个特征图即是一组用于抽取特定特征的神经元，这些特征则由每个特征图对应的权重定义。第l层的第m个特征图经过激活之后构成了此层的输出图像，如下式所示：
Figure BDA0002405526540000101
其中
Figure BDA0002405526540000102
为三维卷积核，
Figure BDA0002405526540000103
为偏置，
Figure BDA0002405526540000104
表示第l层的第m个特征图经过激活之后的输出图像。最后一个卷积层输出经过激活函数后被送入softmax函数，得到每个像素属于类别c的后验概率，如下式所示：
Figure BDA0002405526540000111
其中x表示三维的像素块，pc(x)代表x属于类别c的概率，最终即完成像素块级别三维的分割；
(2d)将全卷积神经网络对每个像素点的分类概率结果输入到全连接的条件随机场中，条件随机场可以根据当前像素点及其邻域像素点的分类结果综合判断当前像素低点的最终类别，从而尽量减少孤立点的存在，提高肿瘤的分割精度；
(2e)因为DCE-MRI图像的肿瘤位置是相同的，使用已训练好的分割模型，将第3期图像的分割结果同步应用到DCE-MRI的5期图像中，从而完成对乳腺癌肿瘤区域的全自动分割。
(3)多尺度感兴趣区域的划取，对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式构建三种尺度的感兴趣区域，具体过程如下：
(3a)以分割结果为基础，对所有图像做掩模处理，使得图像中只保留肿瘤信息，去除瘤周信息；
(3b)根据处理后的肿块区域图像，找到所有病人图像中肿瘤区域最大的数据信息；
(3c)定位该病人二维切片图像中肿瘤区域的几何中心C；
(3d)以该最大肿瘤区域的几何中心C为准，构建第一个尺度为160×160的感兴趣区，该尺度为刚好可包含最大肿瘤区域的尺寸，因此可涵盖所有肿瘤的细节信息；
(3e)对第一个尺度为160×160的感兴趣区域进行2倍的下采样，可得到尺寸为(160/2)×(160/2)的分辨率图像，记为第二个尺度为80×80的感兴趣区域，该下采样原理就是把第一个感兴趣区域2×2窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值；
(3f)同理，将第二个尺度为80×80的感兴趣区域进行2倍的下采样，可得到尺寸为(80/2)×(80/2)的分辨率图像，记为第三个尺度为40×40的感兴趣区域；
(3g)将这三个尺度信息应用到所有153例病人的所有数据中，即可完成多尺度感兴趣区域的划取。
(4)多期图像特征的提取与融合，使用结合了卷积神经网络与长短期记性网络的连接结构，对同一尺度下的多期感兴趣区域进行特征的提取与融合，具体过程如下：
(4a)将同一尺度下包含5期数据的感兴趣区域图像分别送入卷积神经网络中，用于特征的提取，使用的卷积神经网络是改进的Inception V3模型，其结构如表1所示。
表1
Figure BDA0002405526540000121
Figure BDA0002405526540000131
(4b)首先将输入的感兴趣区域大小调整为299×299像素，以符合卷积神经网络的输入参数；
(4c)输入图像经过6个卷积层和1个最大池化层的处理，随后再用3个InceptionA、5个Inception B和2个Inception C模块来增加卷积网络的深度和宽度；接着采用平均池化之后接两个全连接层的方式具象化特征，将2048个卷积特征映射为128维的特征图并输出；
(4d)通过InceptionV3这个卷积神经网络，同一尺度下的感兴趣区域可以提取到5个128维的特征图，将这5个特征图送入长短期记性网络中，可得到一个256维的融合特征图；
(4e)三种尺度下的5期感兴趣区域图像通过上述结合了卷积神经网络与长短期记性网络的连接结构，可得到三个维度都是256的融合特征图M1、M2、M3。
(5)多尺度聚合神经网络的训练与预测，使用软聚合策略将多个尺度的融合特征图进行聚合，并用可变的Softmax层得到不同任务的预测结果，具体过程如下：
(5a)将三个维度都是256的融合特征图M1、M2、M3送入软聚合模型中；
(5b)软聚合模型采用的是一个门控循环单元，通过其聚合可得到一个维度为128的整体特征图；
(5c)将聚合后的整体特征图送入一个可变的Softmax层，根据不同的训练任务，就可得到不同预测结果的输出，软聚合模型如图4所示；
(5d)整个多尺度聚合深度网络的结构图如图5所示，其训练、验证和测试都是使用PyTorch框架(1.0.1)和Linux服务器上的单个GPU(NVIDIA TITANV)完成；
(5e)由于乳腺癌图像的数量有限，在训练整个多尺度聚合模型时使用了迁移学习的思想，首先将该模型在ImageNet公开数据集上进行了预训练，之后再使用本发明中92例病人的训练集样本对模型进行微调；
(5f)在模型训练时，初始学习速率设置为0.00001，并设置每7次迭代便衰减0.9倍，同时使用动量为0.9的随机梯度下降来训练批次大小为100的模型。在训练过程中，所有样本都随机打乱以提高模型的鲁棒性；
(5g)因为本发明目的是对乳腺癌肿瘤进行诊断分类，因此在模型中使用交叉熵作为损失函数，如下式所示：
Figure BDA0002405526540000141
其中Ik和Ck分别表示第k张感兴趣区域图像及其对应的标签，Θ表示模型中要估计的所有权重和偏差，K是训练样本的总数；
(5h)将15例病人的验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型；
(5i)将46例病人的测试数据送入最终得到的多尺度聚合网络中，即可用于预测乳腺癌DCE-MRI图像中肿瘤的相关信息，可用于诊断乳腺癌肿瘤的良恶性、分子分型情况以及前哨淋巴结转移特性等多种任务。
下面结合实验对本发明的技术效果作详细的描述。
评价实施例中本发明提出的系统的评估标准有戴斯系数(Dice)、受试者工作特征曲线(ROC)及曲线下面积(AUC)、准确度(ACC)、灵敏度(SEN)、特异度(SPE)、阳性预测值(PPV)和阴性预测值(NPV)等指标，其中Dice系数用于评价肿瘤分割的效果，其余指标用于评价肿瘤诊断的效果。
Dice系数是指分割出的肿瘤和金标准的相似度，其取值范围在[0，1]之间，越接近1说明分割出的肿瘤越准确。AUC、ACC、SEN、SPE、PPV以及NPV等指标都用于评价诊断效果的好坏，这些指标的值均在[0，1]之间，且越接近1表示模型预测性能越好。
对测试集中乳腺癌患者数据的分割结果，Dice系数均大于0.92，分割结果可用于后续的诊断研究。本次实施例对乳腺癌肿瘤的前哨淋巴结转移情况进行了预测，其结果如表2所示。
表2
AUC(95％CI) SPE SEN ACC PPV NPV
训练集 0.934(0.898-0.991) 85.8％ 89.5％ 87.3％ 81.6％ 92.1％
验证集 0.901(0.890-0.912) 77.8％ 88.9％ 82.2％ 73.8％ 92.1％
测试集 0.888(0.835-0.942) 80.2％ 82.5％ 81.2％ 75.3％ 87.0％
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVDROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种动态增强磁共振成像处理系统，其特征在于，所述动态增强磁共振成像处理系统包括：
数据获取模块，用于乳腺癌DCE-MRI数据的获取，纳入符合标准的病人数据信息；
肿瘤区域图像处理模块，用于肿瘤区域的全自动分割和处理，使用三维全卷积神经网络自动分割乳腺癌肿瘤区域，并用全连接的条件随机场作后处理；
感兴趣区域图像构建模块，用于多尺度感兴趣区域的划取，对分割后的结果做掩模处理，并以得到的最大肿块的几何中心为准，通过下采样的方式构建三种尺度的感兴趣区域；
特征提取与融合模块，用于多期图像特征的提取与融合，使用结合了卷积神经网络与长短期记性网络的连接结构，对同一尺度下的多期感兴趣区域进行特征的提取与融合；
融合特征图聚合模块，用于多尺度聚合神经网络的训练与预测，使用软聚合策略将多个尺度的融合特征图进行聚合，并用可变的Softmax层得到不同任务的预测结果；完成对乳腺癌DCE-MRI图像中肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。
2.如权利要求1所述的动态增强磁共振成像处理系统，其特征在于，所述肿瘤区域图像处理模块包括：
单期图像获取子模块，用于找出DCE-MRI多期图像中肿瘤对比度最强的单期图像；
图像处理子模块，用于以该单期图像建立训练样本集，对样本集中的图像进行规范化和标准化处理；
图像分割子模块，用于将处理后的图像送入三维全卷积神经网络中，训练分割模型，使用的全卷积神经网络包含多个卷积层，每层l∈[1,L]包含了Cl个特征图，每个特征图即是一组用于抽取特定特征的神经元，特征则由每个特征图对应的权重定义，第l层的第m个特征图经过激活之后构成了此层的输出图像：
Figure FDA0004064641470000021
其中
Figure FDA0004064641470000022
为三维卷积核，
Figure FDA0004064641470000023
为偏置，
Figure FDA0004064641470000024
表示第l层的第m个特征图经过激活之后的输出图像，最后一个卷积层输出经过激活函数后被送入softmax函数，得到每个像素属于类别c的后验概率：
Figure FDA0004064641470000025
其中x表示三维的像素块，pc(x)代表x属于类别c的概率，最终即完成像素块级别三维的分割；
分割输出子模块，用于将网络得到的初步分割结果送入全连接的条件随机场中作后处理，条件随机场可以根据当前像素点及其邻域像素点的分类结果综合判断当前像素点的最终类别，得到更为连续的分割输出；
结果同步子模块，用于使用训练好的分割模型，将单期图像的分割结果同步应用到DCE-MRI的多期图像中，完成对乳腺癌肿瘤区域的全自动分割。
3.如权利要求1所述的动态增强磁共振成像处理系统，其特征在于，所述感兴趣区域图像构建模块包括：
瘤周信息去除子模块，用于以分割结果为基础，对所有图像做掩模处理，使得图像中只保留肿瘤信息，去除瘤周信息；
数据信息获取子模块，用于根据处理后的肿块区域图像，找到所有图像中肿瘤区域最大的数据信息；
几何中心定位子模块，用于定位二维切片图像中肿瘤区域的几何中心C；
区域构建子模块，用于以最大肿瘤区域的几何中心C为准，构建第一个尺度为L1×L1的感兴趣区，该尺度涵盖所有肿瘤的细节信息；
区域处理子模块，用于对第一个尺度为L1×L1的感兴趣区域进行s倍的下采样，可得到尺寸为(L1/s)×(L1/s)的分辨率图像，记为第二个尺度为L2×L2的感兴趣区域，把第一个感兴趣区域s×s窗口内的图像变成一个像素，像素点的值就是窗口内所有像素的均值；将第二个尺度为L2×L2的感兴趣区域进行s倍的下采样，可得到尺寸为(L2/s)×(L2/s)的分辨率图像，记为第三个尺度为L3×L3的感兴趣区域；
区域划取子模块，用于将三个尺度信息应用到所有数据中，完成多尺度感兴趣区域的划取。
4.如权利要求1所述的动态增强磁共振成像处理系统，其特征在于，所述特征提取与融合模块包括：
特征图获取子模块，用于将同一尺度下的多期感兴趣区域送入卷积神经网络中，用于特征的提取，得到多个特征图D；
特征融合子模块，用于将卷积神经网络提取到的多个特征图D送入长短期记性网络中，用于多期特征的融合，得到一个融合特征图M；
区域融合子模块，用于三种尺度下的多期感兴趣区域通过结合卷积神经网络与长短期记性网络的连接结构，得到三个融合特征图M1、M2、M3。
5.如权利要求1所述的动态增强磁共振成像处理方法，其特征在于，所述融合特征图聚合模块包括：
模型输入子模块，用于将三个融合特征图M1、M2、M3送入软聚合模型中；
具体处理子模块，用于软聚合模型采用的是一个门控循环单元，通过其聚合得到一个整体特征图N；
预测结果输出子模块，用于将特征图N送入一个可变的Softmax层，根据不同的训练任务，可得到不同预测结果的输出，整个多尺度聚合网络在训练时使用交叉熵作为损失函数：
Figure FDA0004064641470000031
其中Ik和Ck分别表示第k张感兴趣区域图像及其对应的标签，Θ表示模型中要估计的所有权重和偏差，K是训练样本的总数；
模型微调子模块，用于训练整个多尺度聚合模型时首先将模型在ImageNet公开数据集上进行预训练，之后再使用构建好的训练集样本对模型进行微调；
模型性能评估子模块，用于将验证数据集送入训练模型中，评估模型性能，选出效果最佳的模型参数作为最终使用的模型；
相关信息预测子模块，用于将测试数据送入最终得到的多尺度聚合网络中，即可用于预测乳腺癌DCE-MRI图像中肿瘤的相关信息。
6.一种终端，其特征在于，所述终端搭载权利要求1～5任意一项所述的动态增强磁共振成像处理系统。
7.一种如权利要求1～5任意一项所述动态增强磁共振成像处理系统的动态增强磁共振成像的图像分割和检测中的应用。
CN202010160282.7A 2020-03-10 2020-03-10 动态增强磁共振成像处理方法、系统、存储介质、终端 Active CN111476793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010160282.7A CN111476793B (zh) 2020-03-10 2020-03-10 动态增强磁共振成像处理方法、系统、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010160282.7A CN111476793B (zh) 2020-03-10 2020-03-10 动态增强磁共振成像处理方法、系统、存储介质、终端

Publications (2)

Publication Number Publication Date
CN111476793A CN111476793A (zh) 2020-07-31
CN111476793B true CN111476793B (zh) 2023-04-18

Family

ID=71748158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010160282.7A Active CN111476793B (zh) 2020-03-10 2020-03-10 动态增强磁共振成像处理方法、系统、存储介质、终端

Country Status (1)

Country Link
CN (1) CN111476793B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053414B (zh) * 2020-09-04 2023-11-17 浙江大学 一种从动态对比增强磁共振成像数据中快速提取药代动力学参数的方法
JP7462168B2 (ja) 2020-10-08 2024-04-05 パナソニックＩｐマネジメント株式会社 処理方法およびそれを利用した処理装置
CN113065432A (zh) * 2021-03-23 2021-07-02 内蒙古工业大学 一种基于数据增强和ECA-Net的手写体蒙古文识别方法
CN114359969B (zh) * 2022-01-12 2023-04-07 内蒙古农业大学 一种羊脸图像采集装置及图像识别方法
CN114549413B (zh) * 2022-01-19 2023-02-03 华东师范大学 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法
CN114822874B (zh) * 2022-05-25 2023-10-10 湖南中医药大学 一种基于特征偏差对齐的方剂功效分类方法
CN116664590B (zh) * 2023-08-02 2023-10-13 中日友好医院(中日友好临床医学研究所) 基于动态对比增强磁共振图像的自动分割方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902591B2 (en) * 2018-02-09 2021-01-26 Case Western Reserve University Predicting pathological complete response to neoadjuvant chemotherapy from baseline breast dynamic contrast enhanced magnetic resonance imaging (DCE-MRI)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任湘 ; 张朋 ; 范明 ; 厉力华 ; .基于卷积神经网络的乳腺癌分子分型预测研究.杭州电子科技大学学报(自然科学版).2018,(05),全文. *

Also Published As

Publication number Publication date
CN111476793A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476793B (zh) 动态增强磁共振成像处理方法、系统、存储介质、终端
Cai et al. A review of the application of deep learning in medical image classification and segmentation
CN110475505B (zh) 利用全卷积网络的自动分割
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
Chato et al. Machine learning and deep learning techniques to predict overall survival of brain tumor patients using MRI images
CN110506278B (zh) 隐空间中的目标检测
Nayantara et al. Computer-aided diagnosis of liver lesions using CT images: A systematic review
CN109035261B (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN111784701B (zh) 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
CN113643269A (zh) 基于无监督学习的乳腺癌分子分型方法、装置及系统
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN110619635A (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN112329844A (zh) 图像目标分类方法及相关装置、设备、存储介质
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
Chinnam et al. Multimodal attention-gated cascaded U-Net model for automatic brain tumor detection and segmentation
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Bnouni et al. Boosting CNN learning by ensemble image preprocessing methods for cervical cancer segmentation
CN113313728B (zh) 一种颅内动脉分割方法及系统
CN112233112B (zh) 一种基于深度学习分析的肝细胞癌的ck19的预测方法
Premamayudu et al. Covid-19 Automatic Detection from CT Images through Transfer Learning
CN112116989A (zh) 一种多器官勾画方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant