CN111862049A - 基于深度学习的脑胶质瘤分割网络系统及分割方法 - Google Patents

基于深度学习的脑胶质瘤分割网络系统及分割方法 Download PDF

Info

Publication number
CN111862049A
CN111862049A CN202010709365.7A CN202010709365A CN111862049A CN 111862049 A CN111862049 A CN 111862049A CN 202010709365 A CN202010709365 A CN 202010709365A CN 111862049 A CN111862049 A CN 111862049A
Authority
CN
China
Prior art keywords
network
cyclic
r2mfnet
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010709365.7A
Other languages
English (en)
Other versions
CN111862049B (zh
Inventor
任晓强
赵越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010709365.7A priority Critical patent/CN111862049B/zh
Publication of CN111862049A publication Critical patent/CN111862049A/zh
Application granted granted Critical
Publication of CN111862049B publication Critical patent/CN111862049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的脑胶质瘤分割网络系统及分割方法，属于医学图像分割技术领域，要解决的技术问题为如何提升脑胶质瘤分割精度。该系统包括：R2MFNet网络，基于循环残差卷积神经网络和3D多纤维网络构成的网络，用于提取特征以输出特征图；池化层，共N‑1个，每个R2MFNet网络的输出端均连接有一个池化层；上采样模块，用于将来自对应中间R2MFNet网络的特征图与上采样模块自身的特征映射连接；末端卷积层，用于计算目标类的概率。方法包括：获取核磁图像作为输入图像；对输入图像进行归一化处理，使得输入图像符合正态分布；构建分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。

Description

基于深度学习的脑胶质瘤分割网络系统及分割方法
技术领域
本发明涉及医学图像分割技术领域，具体地说是一种基于深度学习的脑胶质瘤分割网络系统及分割方法。
背景技术
在过去的几年里，深度学习特别是基于卷积神经网络的方法在医学图像语义分割方面取得了最先进的性能。
智能分割脑胶质瘤对疾病诊断和临床决策具有重要意义，然而，由于肿瘤结构自身固有的异质性，准确地实现脑肿瘤的机器提取仍然是一个公认的挑战。对脑胶质瘤的机器分割可以节省医生的时间，减少患者的成本，为进一步分析和监测肿瘤提供准确而有价值的解决方案。在临床上，对脑肿瘤图像进行准确的分割对于患者的护理有着不可缺少的作用。然而，准确和鲁棒地实现智能提取脑瘤仍然是一个公认的挑战，因为有两个瓶颈：(1)这些胶质瘤具有类似天线的结构，它们经常容易扩散并且对比度差；(2)脑胶质瘤与周围组织之间界限的模糊，使得对脑胶质瘤进行分割变得非常困难。
基于上述如何提升脑胶质瘤分割精度，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种基于深度学习的脑胶质瘤分割网络系统及分割方法，来解决如何提升脑胶质瘤分割精度的问题。
第一方面，本发明提供一种基于深度学习的脑胶质瘤分割网络系统，包括：
R2MFNet网络，所述R2MFNet网络为基于循环残差卷积神经网络和3D多纤维网络构成的网络，用于提取特征以输出特征图，上述R2MFNet网络共N个，N大于等于2，上述N个R2MFNet网络依次连接，位于传输末端的R2MFNet网络作为末端R2MFNet网络，其它R2MFNet网络作为中间R2MFNet网络；
池化层，所述池化层共N-1个并与中间R2MFNet网络一一对应，每个R2MFNet网络的输出端均连接有一个池化层；
上采样模块，所述上采样模块共N个，上述N个上采样模块依次连接，位于传输末端的上采样模块作为末端上采样模块，其它上采样模块作为中间上采样模块，上述中间上采样模块与上述中间R2MFNet网络一一对应，每个中间上采样模块和与其对应的中间R2MFNet网络的输出端连接，位于传输首端的中间上采样模块连接于末端R2MFNet网络的输出端，所述上采样模块用于将来自对应中间R2MFNet网络的特征图与上采样模块自身的特征映射连接；
末端卷积层，所述末端卷积层位于上述N-1个上采样模块的输出端，用于计算目标类的概率。
更优的，还包括：
首端卷积层，所述首端卷积层连接于上述N个R2MFNet网络的输入端，用于对输入的图像进行尺寸剪裁。
作为优选，所述R2MFNet网络包括：
循环残差卷积神经网络，所述循环残差卷积神经网络包括循环卷积神经网络和残差网络，在每个时间步长，循环卷积层用于接收一个新的输入、并基于当前输入和以前的时间步长信息生成一个输出，所述循环卷积层的输出作为残差部分，所述当前输入作为直接映射部分，所述循环残差卷积神经网络的输出由上述直接映射部分和残差部分组成，上述循环残差卷积神经网络共多个；
Multiplexer网络，所述Multiplexer网络分别与上述每个循环残差卷积神经网络连接，用于作为路由器重定向和放大每个循环残差卷积神经网络输出的数据。
作为优选，所述循环卷积神经网络包括前馈卷积层和多个循环层；
所述循环残差卷积神经网络用于通过如下操作进行特征提取：
设定xl为循环残差卷积神经网络中第lth层中特定的输入样本，对于循环卷积层中第kth个特征图上特定输入样本(i,j)处的一个像素，在时间为t时循环残差卷积神经网络的输出
Figure BDA0002595986800000031
表示为：
Figure BDA0002595986800000032
其中，fl (i,j)为前馈卷积层的输入，rl (i,j)(t-1)为循环卷积层的输入，
Figure BDA0002595986800000033
为前馈卷积层的权重，
Figure BDA0002595986800000034
为第k层特征图在循环卷积层的权重，bk为偏置；
将上述
Figure BDA0002595986800000035
得到的输出通过Relu激活函数后，表达式为：
Figure BDA0002595986800000036
其中，
Figure BDA0002595986800000037
表示循环残差卷积神经网络中第lth层的输出；
循环残差卷积神经网络的输出由直接映射部分和残差部分组成，设定循环残差卷积神经网络的输出为xl+1，表达式为：
Figure BDA0002595986800000038
作为优选，所述Multiplexer网络包括：
第一卷积层，所述第一卷积层分别与上述每个循环残差卷积神经网络连接，用于接收循环残差卷积神经网络输出的数据；
第二卷积层，所述第二卷积层与第一卷积层连接，用于定向输出数据。
第二方面，本发明提供一种基于深度学习的脑胶质瘤分割方法，包括如下步骤：
获取核磁图像作为输入图像，所述核磁图像上包括多种MRI模态和专家标注的脑胶质区域；
对输入图像进行归一化处理，使得输入图像符合正态分布；
构建如第一方面任一项所述的基于深度学习的脑胶质瘤分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。
作为优选，将归一化后的输入图像输入上述脑胶质瘤分割网络系统之前，通过卷积层对所述归一化后的输入图像进行尺寸剪裁。
本发明的基于深度学习的脑胶质瘤分割网络系统及分割方法具有以下优点：
1、R2MFNet网络基于循环残差卷积神经网络和3D多纤维网络构成，结合两者的优点，利用循环残差卷积神经网络可为分割构建更好的特征表示，通过引入3D多纤维网络，克服了计算量大的瓶颈；
2、上述循环残差卷积神经网络共多个，采用多纤维分组策略，将多个循环残差卷积神经网络分为多个平行和独立的网络，称为纤维，在保持网络整体宽度不变的情况下，网络参数大大降低，对整个网络系统的计算具有重大意义；
3、multiplexer充当路由器，附加在上述多个循环残差卷积神经网络的开始，重定向和放大所有循环残差卷积神经网络输出的数据，在不额外增加参数的情况下，提高了学习能力和特征提取能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1基于深度学习的脑胶质瘤分割网络系统的结构框图；
图2为残差卷积神经网络结构示意图；
图3为实施例1基于深度学习的脑胶质瘤分割网络系统中循环残差卷积神经网络结构示意图；
图4为实施例1基于深度学习的脑胶质瘤分割网络系统中多纤维循环残差卷积神经网络结构示意图；
图5为实施例1基于深度学习的脑胶质瘤分割网络系统中R2MFNet网络结构示意图；
图6为实施例1基于深度学习的脑胶质瘤分割网络系统中multiplexer网络结构示意图；
图7为实施例1基于深度学习的脑胶质瘤分割网络系统中循环卷积操作示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。
本发明实施例提供基于深度学习的脑胶质瘤分割网络系统及分割方法，用于解决如何提升脑胶质瘤分割精度的技术问题。
实施例1：
本发明的一种基于深度学习的脑胶质瘤分割网络系统，包括R2MFNet网络、池化层、上采样模块和末端卷积层，R2MFNet网络为基于循环残差卷积神经网络和3D多纤维网络构成的网络，用于提取特征以输出特征图，上述R2MFNet网络共N个，N大于等于2，上述N个R2MFNet网络依次连接，位于传输末端的R2MFNet网络作为末端R2MFNet网络，其它R2MFNet网络作为中间R2MFNet网络；池化层共N-1个并与中间R2MFNet网络一一对应，每个R2MFNet网络的输出端均连接有一个池化层；上采样模块，所述上采样模块共N个，上述N个上采样模块依次连接，位于传输末端的上采样模块作为末端上采样模块，其它上采样模块作为中间上采样模块，上述中间上采样模块与上述中间R2MFNet网络一一对应，每个中间上采样模块和与其对应的中间R2MFNet网络的输出端连接，位于传输首端的中间上采样模块连接于末端R2MFNet网络的输出端，所述上采样模块用于将来自对应中间R2MFNet网络的特征图与上采样模块自身的特征映射连接；末端卷积层位于上述N-1个上采样模块的输出端，用于计算目标类的概率。
其中，循环残差卷积神经网络包括循环卷积神经网络和残差网络，在每个时间步长，循环卷积层用于接收一个新的输入、并基于当前输入和以前的时间步长信息生成一个输出，循环卷积层的输出作为残差部分，当前输入作为直接映射部分，循环残差卷积神经网络的输出由上述直接映射部分和残差部分组成，上述循环残差卷积神经网络共多个。
循环卷积神经网络包括前馈卷积层和多个循环层，循环卷积神经网络(RCNN)在人工神经网络领域有着悠久的历史，RCNN及其变体在不同基准下的目标识别任务中表现出优异的性能。在每个时间步长，RCNN接收一个新的输入，并基于当前输入和以前的时间步长信息生成一个输出。循环卷积层(RCL)是RCNN的关键模块，根据RCNN、RCL的状态在离散时间步长上演化。
循环残差卷积神经网络通过如下操作进行特征提取：
设定xl为循环残差卷积神经网络中第lth层中特定的输入样本，对于循环卷积层中第kth个特征图上特定输入样本(i,j)处的一个像素，在时间为t时循环残差卷积神经网络的输出
Figure BDA0002595986800000061
表示为：
Figure BDA0002595986800000062
其中，fl (i,j)为前馈卷积层的输入，rl (i,j)(t-1)为循环卷积层的输入，
Figure BDA0002595986800000063
为前馈卷积层的权重，
Figure BDA0002595986800000064
为第k层特征图在循环卷积层的权重，bk为偏置；
将上述
Figure BDA0002595986800000065
得到的输出通过Relu激活函数后，表达式为：
Figure BDA0002595986800000066
其中，
Figure BDA0002595986800000067
表示循环残差卷积神经网络中第lth层的输出；
循环残差卷积神经网络的输出由直接映射部分和残差部分组成，设定循环残差卷积神经网络的输出为xl+1，表达式为：
Figure BDA0002595986800000068
将循环卷积层按时间步长t＝2展开，如图7所示，这里t＝2是指循环卷积操作，其中包含一个前馈连接，然后是两个循环连接。此外，带RCLs的残差网络有助于建立更高效、更深入的模型。
多纤维提出的目标是减少特征映射和内核之间的连接数量，这对计算总体成本有重要的意义，如图3所示，我们假设输入特征图的尺寸和卷积核的大小是恒定的，Cin表示输入通道的数量，Cmid表示中间通道的数量，Cout表示输出通道的数量，图3所示的连接总数Con(b)表示为：
Con(b)＝Cin×Cmid+Cmid×Cout
但如图4所示，采用多纤维分组策略，将普通残差网络分为K个平行和独立的残差网络，称为纤维。连接数可以表示为：
Con(c)＝K×(Cin/K×Cmid/K+Cmid/K×Cout/K)
＝(Cin×Cmid+Cmid×Cout)/K
Con(c)比Con(b)小K倍，这样在保持单元整体宽度不变的情况下，网络参数大大降低，对整个网络的计算具有积极意义。
光纤是相互独立的，并阻止上述多个循环残差卷积神经网络之间交换信息。Multiplexer网络分别与上述每个循环残差卷积神经网络连接，用于作为路由器重定向和放大每个循环残差卷积神经网络输出的数据。Multiplexer网络包括第一卷积层和第二卷积层，第一卷积层分别与上述每个循环残差卷积神经网络连接，用于接收循环残差卷积神经网络输出的数据；第二卷积层与第一卷积层连接，用于定向输出数据。
如图6所示，本实施例中第一卷积层和第二卷积层均为1×1×1的卷积，使用两个卷积的目的是减少网络参数。输入通道的数量是Cin，然后压缩为Cin/4，最后扩大为Cin。使用两次卷积的参数是
Figure BDA0002595986800000071
然而，使用一个1×1×1的卷积的参数是
Figure BDA0002595986800000072
通过使用两个1×1×1的卷积层，可以减少一半的参数。图5显示了整个R2MFNet网络，multiplexe网络附加在上述多个循环残差卷积神经网络的开始，在不增加额外参数的情况下提高学习能力和提取特征。
作为本实施例的进一步改进，还包括首端卷积层和末端卷积层，首端卷积层连接于上述N个R2MFNet网络的输入端，用于对输入的图像进行尺寸剪裁，使得输入的R2MFNet网络的输入图像有效的提前下、尺寸较小，减少计算量。
如图1所示，该实施例中，前端卷积层stride＝2，末端卷积层尺寸为1×1×1，并配置有softmax函数。
R2MFNet网络共四个，对应的上采样模块共三个，上述首端卷积层、R2MFNet网络和池化层组成编码器网络，上述上采样模块和末端卷积层组成编码器网络，编码器网络通过上述R2MFNet网络来提取输入的特征表示，使用最大池化操作来代替步长为2的3D卷积块，在解码路径中，对从来自编码器网络的特征图与解码器网络的特征映射连接起来。
本发明的基于深度学习的脑胶质瘤分割网络系统，结合了循环残差卷积神经网络和3D多纤维网络的优点，用于多模态核磁共振成像中肿瘤子区域的分割。
实施例2：
本发明的一种基于深度学习的脑胶质瘤分割方法，包括如下步骤：
S100、获取核磁图像作为输入图像，核磁图像上包括多种MRI模态和专家标注的脑胶质区域；
S200、对输入图像进行归一化处理，使得输入图像符合正态分布；
S300、构建如实施例1公开的基于深度学习的脑胶质瘤分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。
其中，该输入图像为多模态核磁共振成像图像，来源于MICCAI提供的含专家标注的脑胶质瘤的公共数据集BraTS(multimodal braintumor segmentation challenge)，每个病人的图像都包括的4种MRI模态和专家标注的脑胶质瘤区域，图像进行归一化处理，使得输入图像符合正态分布，即图像均值为0,标准差为1。归一化后的图像稳定性更强并且可加快网络收敛。将图像裁剪为128×128×128的大小，通道数为4，将其输入实施例1公开的分割网络系统中，在上述分割网络系统中，R2MFNet网络由编码器网络和解码器网络组成，如图1所示，编码器网络包含几个R2MFNet网络来提取输入的特征表示，通过池化层最大池化操作来代替步长为2的3D卷积块；在解码路径中，对从来自编码器网络的特征图与解码器网络的特征映射连接起来。
对于尺寸较大的输入图像，在将该输入图像输入上述网络之前，通过卷积层对上述归一化后的图像进行尺寸剪裁，使得输入图像中为有效肿瘤区域。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (7)

1.基于深度学习的脑胶质瘤分割网络系统，其特征在于包括：
R2MFNet网络，所述R2MFNet网络为基于循环残差卷积神经网络和3D多纤维网络构成的网络，用于提取特征以输出特征图，上述R2MFNet网络共N个，N大于等于2，上述N个R2MFNet网络依次连接，位于传输末端的R2MFNet网络作为末端R2MFNet网络，其它R2MFNet网络作为中间R2MFNet网络；
池化层，所述池化层共N-1个并与中间R2MFNet网络一一对应，每个R2MFNet网络的输出端均连接有一个池化层；
上采样模块，所述上采样模块共N个，上述N个上采样模块依次连接，位于传输末端的上采样模块作为末端上采样模块，其它上采样模块作为中间上采样模块，上述中间上采样模块与上述中间R2MFNet网络一一对应，每个中间上采样模块和与其对应的中间R2MFNet网络的输出端连接，位于传输首端的中间上采样模块连接于末端R2MFNet网络的输出端，所述上采样模块用于将来自对应中间R2MFNet网络的特征图与上采样模块自身的特征映射连接；
末端卷积层，所述末端卷积层位于上述N-1个上采样模块的输出端，用于计算目标类的概率。
2.根据权利要求1所述的基于深度学习的脑胶质瘤分割网络系统，其特征在于还包括：
首端卷积层，所述首端卷积层连接于上述N个R2MFNet网络的输入端，用于对输入的图像进行尺寸剪裁。
3.根据权利要求1或2所述的基于深度学习的脑胶质瘤分割网络系统，其特征在于所述R2MFNet网络包括：
循环残差卷积神经网络，所述循环残差卷积神经网络包括循环卷积神经网络和残差网络，在每个时间步长，循环卷积层用于接收一个新的输入、并基于当前输入和以前的时间步长信息生成一个输出，所述循环卷积层的输出作为残差部分，所述当前输入作为直接映射部分，所述循环残差卷积神经网络的输出由上述直接映射部分和残差部分组成，上述循环残差卷积神经网络共多个；
Multiplexer网络，所述Multiplexer网络分别与上述每个循环残差卷积神经网络连接，用于作为路由器重定向和放大每个循环残差卷积神经网络输出的数据。
4.根据权利要求3所述的基于深度学习的脑胶质瘤分割网络系统，其特征在于所述循环卷积神经网络包括前馈卷积层和多个循环层；
所述循环残差卷积神经网络用于通过如下操作进行特征提取：
设定xl为循环残差卷积神经网络中第lth层中特定的输入样本，对于循环卷积层中第kth个特征图上特定输入样本(i,j)处的一个像素，在时间为t时循环残差卷积神经网络的输出
Figure FDA0002595986790000021
表示为：
Figure FDA0002595986790000022
其中，fl (i,j)为前馈卷积层的输入，rl (i,j)(t-1)为循环卷积层的输入，
Figure FDA0002595986790000023
为前馈卷积层的权重，
Figure FDA0002595986790000024
为第k层特征图在循环卷积层的权重，bk为偏置；
将上述
Figure FDA0002595986790000025
得到的输出通过Relu激活函数后，表达式为：
Figure FDA0002595986790000026
其中，
Figure FDA0002595986790000027
表示循环残差卷积神经网络中第lth层的输出；
循环残差卷积神经网络的输出由直接映射部分和残差部分组成，设定循环残差卷积神经网络的输出为xl+1，表达式为：
Figure FDA0002595986790000028
5.根据权利要求3所述的基于深度学习的脑胶质瘤分割网络系统，其特征在于所述Multiplexer网络包括：
第一卷积层，所述第一卷积层分别与上述每个循环残差卷积神经网络连接，用于接收循环残差卷积神经网络输出的数据；
第二卷积层，所述第二卷积层与第一卷积层连接，用于定向输出数据。
6.基于深度学习的脑胶质瘤分割方法，其特征在于包括如下步骤：
获取核磁图像作为输入图像，所述核磁图像上包括多种MRI模态和专家标注的脑胶质区域；
对输入图像进行归一化处理，使得输入图像符合正态分布；
构建如权利要求1-5任一项所述的基于深度学习的脑胶质瘤分割网络系统，将归一化后的输入图像输入上述脑胶质瘤分割网络系统。
7.根据权利要求6所述的基于深度学习的脑胶质瘤分割方法，其特征在于将归一化后的输入图像输入上述脑胶质瘤分割网络系统之前，通过卷积层对所述归一化后的输入图像进行尺寸剪裁。
CN202010709365.7A 2020-07-22 2020-07-22 基于深度学习的脑胶质瘤分割网络系统及分割方法 Active CN111862049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010709365.7A CN111862049B (zh) 2020-07-22 2020-07-22 基于深度学习的脑胶质瘤分割网络系统及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010709365.7A CN111862049B (zh) 2020-07-22 2020-07-22 基于深度学习的脑胶质瘤分割网络系统及分割方法

Publications (2)

Publication Number Publication Date
CN111862049A true CN111862049A (zh) 2020-10-30
CN111862049B CN111862049B (zh) 2024-03-29

Family

ID=73000874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709365.7A Active CN111862049B (zh) 2020-07-22 2020-07-22 基于深度学习的脑胶质瘤分割网络系统及分割方法

Country Status (1)

Country Link
CN (1) CN111862049B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419267A (zh) * 2020-11-23 2021-02-26 齐鲁工业大学 基于深度学习的脑胶质瘤分割模型及分割方法
CN113222915A (zh) * 2021-04-28 2021-08-06 浙江大学 基于多模态磁共振影像组学的pd诊断模型的建立方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040033495A1 (en) * 2001-08-03 2004-02-19 Eos Biotechnology, Inc. Methods of diagnosis of angiogenesis, compositions and methods of screening for angiogenesis modulators
KR101970488B1 (ko) * 2017-12-28 2019-04-19 포항공과대학교 산학협력단 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
KR20200036093A (ko) * 2018-09-21 2020-04-07 네이버웹툰 주식회사 비디오 영상 내의 행동 인식 방법 및 장치
WO2020087838A1 (zh) * 2018-10-29 2020-05-07 深圳先进技术研究院 血管壁斑块识别设备、系统、方法及存储介质
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
US20200211185A1 (en) * 2018-12-29 2020-07-02 Shenzhen Malong Technologies Co., Ltd. 3d segmentation network and 3d refinement module

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040033495A1 (en) * 2001-08-03 2004-02-19 Eos Biotechnology, Inc. Methods of diagnosis of angiogenesis, compositions and methods of screening for angiogenesis modulators
KR101970488B1 (ko) * 2017-12-28 2019-04-19 포항공과대학교 산학협력단 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
KR20200036093A (ko) * 2018-09-21 2020-04-07 네이버웹툰 주식회사 비디오 영상 내의 행동 인식 방법 및 장치
WO2020087838A1 (zh) * 2018-10-29 2020-05-07 深圳先进技术研究院 血管壁斑块识别设备、系统、方法及存储介质
US20200211185A1 (en) * 2018-12-29 2020-07-02 Shenzhen Malong Technologies Co., Ltd. 3d segmentation network and 3d refinement module
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN CHEN 等: "3D Dilated Multi-Fiber Network for Real-time Brain Tumor Segmentation in MRI", pages 184 - 191 *
MD ZAHANGIR ALOM 等: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", pages 1 - 12 *
褚晶辉 等: "一种基于级联卷积网络的三维脑肿瘤精细分割", 《激光与光电子学进展》, vol. 56, no. 10, 31 December 2019 (2019-12-31), pages 67 - 76 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419267A (zh) * 2020-11-23 2021-02-26 齐鲁工业大学 基于深度学习的脑胶质瘤分割模型及分割方法
CN113222915A (zh) * 2021-04-28 2021-08-06 浙江大学 基于多模态磁共振影像组学的pd诊断模型的建立方法

Also Published As

Publication number Publication date
CN111862049B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN111862049B (zh) 基于深度学习的脑胶质瘤分割网络系统及分割方法
CN108766557B (zh) 基于通道信号融合神经网络的自动心律失常分析方法
CN112766377B (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
CN110738660B (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN114283158A (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN111028248A (zh) 一种基于ct图像的静动脉分离方法及装置
CN117115045B (zh) 基于互联网生成式人工智能提升医学影像数据质量的方法
CN111681247B (zh) 肺叶肺段分割模型训练方法和装置
CN116740538A (zh) 一种基于YOLOv8改进的轻量化目标检测方法及系统
CN115830041A (zh) 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN114549394A (zh) 一种基于深度学习的肿瘤病灶区域语义分割方法及系统
CN112330662B (zh) 一种基于多层级神经网络的医学图像分割系统及方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN113888470A (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
CN113689419A (zh) 一种基于人工智能的图像分割处理方法
CN116309507A (zh) 注意力机制下对ctp进行特征融合的ais病灶预测方法
CN116797618A (zh) 基于多模态mri心脏图像的多阶段分割方法
CN113554641B (zh) 一种儿科咽部图像采集方法及装置
CN112967269A (zh) 一种基于ct图像的肺结节识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant