CN111210444A - 多模态磁共振影像的分割方法、装置及介质 - Google Patents

多模态磁共振影像的分割方法、装置及介质 Download PDF

Info

Publication number
CN111210444A
CN111210444A CN202010008358.4A CN202010008358A CN111210444A CN 111210444 A CN111210444 A CN 111210444A CN 202010008358 A CN202010008358 A CN 202010008358A CN 111210444 A CN111210444 A CN 111210444A
Authority
CN
China
Prior art keywords
image
magnetic resonance
feature extraction
data set
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010008358.4A
Other languages
English (en)
Inventor
张勇东
刘荪傲
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Original Assignee
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Research Institute, University of Science and Technology of China USTC filed Critical Beijing Zhongke Research Institute
Priority to CN202010008358.4A priority Critical patent/CN111210444A/zh
Publication of CN111210444A publication Critical patent/CN111210444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种多模态磁共振影像的分割方法、装置、设备及介质，方法包括：分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。该方法极大地降低了图像梳理过程中的参数量，降低计算开销，提高分割精度。

Description

多模态磁共振影像的分割方法、装置及介质
技术领域
本公开涉及智能医学影像分析领域，特别是涉及一种多模态磁共振影像的分割方法、装置及介质。
背景技术
脑胶质瘤是由大脑胶质细胞癌变所产生的最常见的原发性颅脑恶性肿瘤，其发病率约占颅内肿瘤的40％～50％，具有发病率高、复发率高、死亡率高及治愈率低的特点。诊断病情时常使用多种成像模式的磁共振成像(MRI)绘制肿瘤的组织变化。有效的肿瘤分割图像可以帮助医生判断手术切除的范围，从而提高手术切除的完整程度，减少患者术后功能缺陷等并发症的产生。目前主流的分割方法是使用三维卷积神经网络，通过三维卷积提取空间信息，能够达到较高精度，但也存在参数量多、计算开销大的明显弊端。
发明内容
(一)要解决的技术问题
针对于上述技术问题，本公开提出一种多模态磁共振影像的分割方法、装置及介质，用于至少解决上述技术问题。
(二)技术方案
根据本公开实施例的第一方面，提供一种多模态磁共振影像的分割方法，方法包括：分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
可选地，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取，包括：获取特征提取模型，其中，提取模型包括三个不同方向为伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面；将多模态磁共振影像输入特征提取模型，以提取横断面、冠状面及矢状面的二维图像特征。
可选地，方法还包括：训练特征提取模型，该操作包括：获取训练数据集，训练数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上标注有肿瘤级别；对训练数据集进行像素级标注；利用标注后的训练数据集训练特征提取模型。
可选地，利用标注后的训练数据集训练特征提取模型，包括：将标注的像素级转化为全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图；计算二值分割图的损失。
可选地，利用标注后的训练数据集训练特征提取模型，还包括：对标注后的训练数据集训进行数据增广，其中，数据增广包括数据随机翻转、数据随机旋转、数据随机缩放和数据随机扰动。
可选地，计算二值分割图的损失，包括：计算二值分割图的损失的损失函数为：
Figure BDA0002355508540000021
其中，
Figure BDA0002355508540000022
是预测的第i个像素属于第c类子区域的概率值，
Figure BDA0002355508540000023
是其对应真实标签，∈表示拉普拉斯平滑常数。
可选地，方法还包括：获取测试数据集，测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，多模态磁共振影像上未标注有肿瘤级别；将测试数据集输入训练后的特征提取模型，根据输出值对特征提取模型进行优化。
可选地，利用标注后的训练数据集训练特征提取模型，还包括：将标注后的训练数据集裁剪至预设尺寸范围内，对裁剪后的训练数据集进行归一化。
根据本公开实施例的第二方面，提供了一种多模态磁共振影像的分割装置，装置包括：第一特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；第二特征提取模块，用于分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；融合模块，用于分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；处理模块，用于对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开实施例的第五方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
(三)有益效果
本公开提一种多模态磁共振影像的分割方法、装置及介质，通过三个不同方向的伪三维卷积处理模块对多模态磁共振影像的三维信息进行解耦后提取。极大地降低了图像梳理过程中的参数量，降低计算开销。同时，使用不同方向的并联伪卷积结构对多模态磁共振影像的横断面、冠状面及矢状面进行提取，能够得到更有效的空间信息，提高分割精度。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。其中：
图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图；
图2示意性示出了根据本公开一示例性实施例的特征提取模型的架构图；
图3示意性示出了根据本公开一示例性实施例的特征提取模型的网络结构图；
图4示意性示出了根据本公开一示例性实施例的特征提取模型的训练方法流程图；
图5示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割装置的框图；以及
图6示意性示出了根据本公开一示例性实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
本公开实施例通过设计一种多方向融合模块，将医学多模态磁共振影像数据的三维空间信息进行拆分与融合，使用少量参数提取有效特征，并以此构建了一种新型轻量卷积神经网络，大幅降低参数量并实现准确的胶质瘤分割。
图1示意性示出了根据本公开一示例性实施例的多模态磁共振影像的分割方法的流程图，该方法例如可以包括操作S101～S104.
S101，分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取。
在本公开一可行的方式中，采用一特征提取模型对分别对多模态磁共振影像进行特征提取。该特征提取模型的架构图如图2所示，该模型可以包括三个不同方向的伪三维卷积处理模块，分别对应多模态磁共振影像的横断面、冠状面及矢状面，用于对三个面的图像特征进行提取。实际上，医生在观看MRI影像数据时是以观察二维平面图像为主，并根据图像切片位置辅助判断，故伪三维卷积的拆分具有现实意义。医学上对三维影像在三个方向的截面有明确定义(横断面、冠状面和矢状面)，可以反映不同的病理信息。其中，横断面又称水平位即人体左右、前后构成的面为水平位。冠状面，又称额状面，即从左右方向，沿人体的长轴将人体纵切为前、后两部分的切面。矢状面就是把人体分成左右两面的解剖面，与这个面平行的也是矢状面。
三支伪三维卷积模块包括一个二维卷积及一个一维卷积，其卷积核尺寸分别可以为3*3*1+1*1*3、3*1*3+1*3*1、1*3*3+3*1*1。特征提取过程中，获取上述特征提取模型，将多模态磁共振影像输入至特征提取模型，分别利用三维卷积模块的二维卷积提取特定平面(横断面、冠状面和矢状面)的二维图像特征。
特征提取模型的输入例如可以是四种模态的MRI影像数据，包括T1、T1加权(T1Gd)、T2和液体衰减反转恢复(FLAIR)，其中，T1、T2分别为质子在激发磁场中的纵向弛豫时间及横向弛豫时间，T1加权成像(T1WI)-突出组织T1弛豫(纵向弛豫)差别，T2加权成像(T2WI)-突出组织T2弛豫(横向弛豫)差别。在任何序列图像上，信号采集时刻横向的磁化矢量越大，MR信号越强所谓的T1WI和T2WI是磁共振现象中，质子驰豫的时间，也就是质子经磁场激发后恢复的时间，根据时间的不同，采集数据，形成的图像，T表示时间，WI表示权重，是一种物理参数。
S102，分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。
在操作S101中，在二维图像特征提取的基础上，进一步进行一维特征提取。不论从哪个方向(横断面、冠状面和矢状面)来看，影像均是三维空间，除了横断面或冠状面或矢状面所在的二维平面，各自还对应第三个维度。故随后在第三个维度上使用一维卷积分别提取横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。
S103，分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征。
由于在操作S101中提取了二维图像特征，则将操作操作S102中提取的一维图像特征与二维图像特征进行融合，即可补充为三维空间信息。
S104，对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
在操作S104中，可对融合后图像数据进行分组标准化、残差连接和激活等处理。由于上述操作分为三个通道分别对输入的四种模态的MRI影像数据进行处理，即可得到全肿瘤(WT)、肿瘤核心(TC)和增强肿瘤(ET)三个肿瘤子区域的图像，其输入及输出如图3所示，通过对160*160*128四种模态的MRI影像数据进行多方向融合，并引入空洞卷积以扩大感受野和保持空间分辨率，最终得到三个肿瘤子区域的160*160*128图像。
图4示意性实处了根据本公开一示例性实施例的特征提取模型的训练方法流程图，如图4所示，该方法例如可以包括操作S401～S404.
S401，获取训练数据集。
用于训练的数据集例如可以包括高级别胶质瘤(HGG)和低级别胶质瘤(LGG)分别对应的多模态磁共振影像。
在本实施例，训练集共选取285例数据，包括210例高级别胶质瘤和75例低级别胶质瘤，每一例数据标注有肿瘤级别。每例数据可以包括包含T1、T2、FLAIR和T1Gd四种模态，均经过配准、去颅骨和插值预处理，分辨率例如可以为240*240*155。
S402，对训练数据集进行像素级标注
标注的结果例如可以有具有医学丰富影像经验的技术人员审核。
S403，利用标注后的训练数据集训练特征提取模型。
数据训练时，首先将标注后的训练数据集裁剪至预设尺寸范围内，尺寸例如可以是160*160*128以满足显存限制，并基于影像非背景区域对裁剪后的训练数据集进行归一化。
然后，将标注的像素级转化为所述全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图，计算二值分割图的损失。其中，模型参数初始化采用随机初始化，使用随机梯度下降法对模型参数进行更新，用于更新该模型参数的损失函数为：
Figure BDA0002355508540000071
其中，
Figure BDA0002355508540000072
是预测的第i个像素属于第c类子区域的概率值，
Figure BDA0002355508540000073
是其对应真实标签，∈表示拉普拉斯平滑常数，常数值可以取1。该损失函数结合了Dice Loss及Focal Loss，其中，Dice Loss可以缓解医学数据中样本类别不均衡问题，Focal Loss侧重于加强难分割样本的学习。
此外，在训练的过程中，为了提高模型的性能，可以对训练数据集进行数据增广，包括随机翻转、随机旋转、随机缩放和随机扰动。
S404、获取测试数据集，将测试数据集输入训练后的特征提取模型，根据输出值对特征提取模型进行优化。
其中，测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像。在本实施例，训练集共选取66例数据，每一例数据未标注有肿瘤级别。每例数据可以包括包含T1、T2、FLAIR和T1Gd四种模态，均经过配准、去颅骨和插值预处理，分辨率例如可以为240*240*155。
在本实施一可行的方式中，对上述方法进行了相关试验，该方法可实现3D MRI影像的端到端分割，参数量相比标准3D网络减少70％以上，三种子区域分割精度高达约90.9％、84.1％和80.4％。
本实施例中，通过对数据影像的三维信息进行解耦，先提取二维图像特征，再提取一维图像特征后融合，可明显降低参数量，降低计算开销。同时，使用不同方向的并联伪卷积结构对多模态磁共振影像的横断面、冠状面及矢状面进行提取，能够得到更有效的空间信息，提高分割精度。
图5示意性实处了根据本公开一示例性实施例的多模态磁共振影像的分割装置的框图，如图5所示，该装置500例如可以包括第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540。
第一特征提取模块510，用于分别对多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取。
第二特征提取模块520，用于分别对多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取。
融合模块530，用于分别将横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征。
处理模块540，用于对第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
本实施例的装置可以以软件的方式安装于医生的工作电脑，提供实时分割；也可以安装于医院的后台服务器，提供大批量后台分割。
需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，具体细节请参照方法实施例部分，在此不再赘述。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6是根据一示例性实施例示出的一种电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600包括处理器610、计算机可读存储介质620。该电子设备600可以执行根据本公开实施例的方法。
具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存等等。
计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例第一特征提取模块510、第二特征提取模块520、融合模块530及处理模块540中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种多模态磁共振影像的分割方法，其特征在于，方法包括：
分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；
分别对所述多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；
分别将所述横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到所述横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；
对所述第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取，包括：
获取特征提取模型，其中，所述提取模型包括三个不同方向为伪三维卷积处理模块，分别对应所述多模态磁共振影像的横断面、冠状面及矢状面；
将所述多模态磁共振影像输入所述特征提取模型，以提取横断面、冠状面及矢状面的二维图像特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：训练所述特征提取模型，该操作包括：
获取训练数据集，所述训练数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，所述多模态磁共振影像上标注有肿瘤级别；
对所述训练数据集进行像素级标注；
利用标注后的训练数据集训练所述特征提取模型。
4.根据权利要求3所述的方法，其特征在于，所述利用标注后的训练数据集训练所述特征提取模型，包括：
将标注的像素级转化为所述全肿瘤区域、肿瘤核心区域及增强肿瘤区域分别对应的二值分割图；
计算所述二值分割图的损失。
5.根据权利要求3所述的方法，其特征在于，所述利用标注后的训练数据集训练所述特征提取模型，还包括：
对所述标注后的训练数据集训进行数据增广，其中，所述数据增广包括数据随机翻转、数据随机旋转、数据随机缩放和数据随机扰动。
6.根据权利要求4所述的方法，其特征在于，所述计算所述二值分割图的损失，包括：
计算所述二值分割图的损失的损失函数为：
Figure FDA0002355508530000021
其中，
Figure FDA0002355508530000022
是预测的第i个像素属于第c类子区域的概率值，
Figure FDA0002355508530000023
是其对应真实标签，∈表示拉普拉斯平滑常数。
7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取测试数据集，所述测试数据集包括高级别胶质瘤和低级别胶质瘤分别对应的多模态磁共振影像，所述多模态磁共振影像上未标注有肿瘤级别；
将所述测试数据集输入训练后的所述特征提取模型，根据输出值对所述特征提取模型进行优化。
8.根据权利要求3-6任一项所述的方法，其特征在于，所述利用标注后的训练数据集训练所述特征提取模型，还包括：
将所述标注后的训练数据集裁剪至预设尺寸范围内，对裁剪后的训练数据集进行归一化。
9.一种多模态磁共振影像的分割装置，其特征在于，装置包括：
第一特征提取模块，用于分别对所述多模态磁共振影像的横断面、冠状面及矢状面进行二维图像特征提取；
第二特征提取模块，用于分别对所述多模态磁共振影像的横断面、冠状面及矢状面各自对应的第三个维度上的一维图像特征进行提取；
融合模块，用于分别将所述横断面、冠状面及矢状面对应的一维图像特征及二维图像特征进行融合，得到所述横断面、冠状面及矢状面分别对应的第一方向图像特征、第二方向图像特征及第三方向图像特征；
处理模块，用于对所述第一方向图像特征、第二方向图像特征及第三方向图像特征进行处理，得到全肿瘤区域图像、肿瘤核心区域图像及增强肿瘤区域图像。
10.一种电子设备，其特征在于，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
CN202010008358.4A 2020-01-03 2020-01-03 多模态磁共振影像的分割方法、装置及介质 Pending CN111210444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008358.4A CN111210444A (zh) 2020-01-03 2020-01-03 多模态磁共振影像的分割方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008358.4A CN111210444A (zh) 2020-01-03 2020-01-03 多模态磁共振影像的分割方法、装置及介质

Publications (1)

Publication Number Publication Date
CN111210444A true CN111210444A (zh) 2020-05-29

Family

ID=70789479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008358.4A Pending CN111210444A (zh) 2020-01-03 2020-01-03 多模态磁共振影像的分割方法、装置及介质

Country Status (1)

Country Link
CN (1) CN111210444A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508941A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 三维超声扫描完整性检测方法及装置
CN113033636A (zh) * 2021-03-17 2021-06-25 济南国科医工科技发展有限公司 一种卵巢肿瘤自动鉴别系统
WO2022127500A1 (zh) * 2020-12-14 2022-06-23 上海健康医学院 基于多个神经网络的mri图像分割方法、装置及设备
CN114677537A (zh) * 2022-03-06 2022-06-28 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671054A (zh) * 2018-11-26 2019-04-23 西北工业大学 多模态脑肿瘤mri的无监督分割方法
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671054A (zh) * 2018-11-26 2019-04-23 西北工业大学 多模态脑肿瘤mri的无监督分割方法
CN110047080A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于V-Net的多模态脑肿瘤图像精细分割的方法
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN’AO LIU等: "Improving Brain Tumor Segmentation with Dilated Pseudo-3D Convolution and Multi-direction Fusion", 《HTTPS://LINK.SPRINGER.COM/CHAPTER/10.1007/978-3-030-37731-1_59》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127500A1 (zh) * 2020-12-14 2022-06-23 上海健康医学院 基于多个神经网络的mri图像分割方法、装置及设备
CN112508941A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 三维超声扫描完整性检测方法及装置
CN113033636A (zh) * 2021-03-17 2021-06-25 济南国科医工科技发展有限公司 一种卵巢肿瘤自动鉴别系统
CN113033636B (zh) * 2021-03-17 2022-11-29 济南国科医工科技发展有限公司 一种卵巢肿瘤自动鉴别系统
CN114677537A (zh) * 2022-03-06 2022-06-28 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法
CN114677537B (zh) * 2022-03-06 2024-03-15 西北工业大学 一种基于多序列磁共振影像的胶质瘤分级分类方法

Similar Documents

Publication Publication Date Title
US11574406B2 (en) Systems and methods for image segmentation using a scalable and compact convolutional neural network
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
CN111210444A (zh) 多模态磁共振影像的分割方法、装置及介质
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109493347A (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
CN109919961A (zh) 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
US8076937B2 (en) Fibre tracking on the basis of macroscopic information
CN112598656A (zh) 一种基于UNet++优化和权值预算的脑肿瘤分割算法
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及系统
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
Shahedi et al. Segmentation of uterus and placenta in MR images using a fully convolutional neural network
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN110992439B (zh) 纤维束追踪方法、计算机设备和存储介质
Wu et al. A multi-atlas guided 3D fully convolutional network for MRI-based subcortical segmentation
CN117372458A (zh) 三维脑肿瘤分割方法、装置、计算机设备和存储介质
CN112652032A (zh) 器官的建模方法、图像分类装置和存储介质
CN109410187B (zh) 用于在全片图像中检测癌症转移的系统、方法和介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Mansour et al. Kidney segmentations using cnn models
CN111612762B (zh) Mri脑肿瘤图像生成方法及系统
CN113409324A (zh) 一种融合微分几何信息的脑分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529