CN111932486A - 一种基于3d卷积神经网络的脑胶质瘤分割方法 - Google Patents

一种基于3d卷积神经网络的脑胶质瘤分割方法 Download PDF

Info

Publication number
CN111932486A
CN111932486A CN201910393521.0A CN201910393521A CN111932486A CN 111932486 A CN111932486 A CN 111932486A CN 201910393521 A CN201910393521 A CN 201910393521A CN 111932486 A CN111932486 A CN 111932486A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
different
convolutional
image blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910393521.0A
Other languages
English (en)
Inventor
何小海
胡睿
滕奇志
廖浚斌
卿粼波
吴小强
熊淑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910393521.0A priority Critical patent/CN111932486A/zh
Publication of CN111932486A publication Critical patent/CN111932486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D卷积神经网络的脑胶质瘤分割方法。包括以下步骤：按照要求将数据转为所需要的格式，并且对数据进行归一化处理，从数据中提取3个不同尺度的3D图像块，作为3个输入经过三通路的3D卷积神经网络，经过9层卷积以后，得到3个不同的分类结果，然后将分类前的特征映射级联，经过1层卷积，得到不同尺度图像块的权重，最后将分类结果与其对应的权重相乘并且逐体素相加得到最终的脑胶质瘤分割结果。本发明所描述的脑胶质瘤分割方法相比其他已有的一些脑胶质瘤分割方法效果明显提升，评价指标综合表现是较好的。

Description

一种基于3D卷积神经网络的脑胶质瘤分割方法
技术领域
本发明设计了一种基于3D卷积神经网络并结合了注意力机制的的脑胶质瘤分割方法，涉及深度学习、计算机视觉、医学图像分割技术领域。
背景技术
医学图像分割是医学图像处理与分析领域中复杂而关键的步骤，目的是将医学图像中某些具有特殊含义的部分分割出来，并提取相关的特征，为临床治疗以及病理学研究提供可靠的依据，并且辅助医生做出更准确的诊断。图像分割过程是把图像分割成多个区域，这些区域内部有类似的性质，如灰度、颜色、纹理、亮度、对比度等。从医学图像中分割出目标很难，因为医学图像的复杂性很高而且缺少简单的线性特征。此外分割结果的准确率还受到部分容积效应、灰度不均匀性、伪影、不同软组织间灰度的接近性等因素的影响。所以尽管在自然图像分割领域已有很多算法并且效果都相当不错，但是医学图像分割仍然是个复杂且具有挑战性的问题。
脑胶质瘤(glioblastoma multiforme,GBM)是由于大脑和脊髓胶质细胞癌变所产生的最常见的、原发性颅脑肿瘤，是脑癌中最常见、死亡率最高一种肿瘤。据统计，脑胶质瘤患者术后存活时间仅为8个月左右，5年以上的存活率几乎为0。传统的脑肿瘤图像分割方法有基于模糊聚类的脑瘤分割、基于阈值的脑瘤分割、基于区域生长的脑瘤分割、基于形变的脑瘤分割方法等多种方法，但大多数传统的脑瘤分割方法无法很好地提取特征。随着深度学习的快速发展，越来越多深度学习方法应用于医学研究中，包括医学图像分割的研究。通过梯度下降反向传播机制，卷积神经网络(Convolutional Neural Network，CNN)能够学习大量输入与输出间的特征关系，相比传统方法中人工设计的特征提取方式，深度学习的方法更加有效且科学。因此很多医学图像分割的研究都开始利用深度学习方法。
发明内容
本发明为解决上述问题提供一种基于3D卷积神经网络的脑胶质瘤分割方法。
本发明通过以下的技术方法来实现上述目的：
一种基于3D卷积神经网络的脑胶质瘤分割方法，包括以下步骤：
步骤一：数据处理，即按照要求将数据转为所需要的格式，并且对数据进行归一化处理；
步骤二：分类，从数据中提取3个不同尺度的图像块，作为3个输入经过三通路的3D卷积神经网络，得到3个不同的分类结果；
步骤三：计算权重，从数据中提取3个不同尺度的图像块，作为3个输入经过三通路的3D卷积神经网络，然后将三个不同的特征映射级联，经过卷积，得到不同尺度图像块的权重；
步骤四：脑胶质瘤分割，将步骤二得到的分类结果与步骤三得到的权重相乘并进行逐体素相加得到最终的脑胶质瘤分割结果。
附图说明
图1是本发明中得到不同尺度块分类结果的示意图
图2是本发明中学习不同尺度块对应权重的示意图
具体实施方式
下面结合附图对本发明作进一步说明：
图1是本发明中得到不同尺度块分类结果的示意图，包括以下步骤：
步骤一：从原始图块中得到3个不同尺度的图像块并作为输入；
步骤二：对每一个图像块都进行卷积操作，经过8个卷积核为3×3×3的卷积层；得到3个不同的特征映射；
步骤三：将3个特征映射经过1个卷积核为1×1×1的卷积层，以减少特征的数量，得到3个不同的特征映射；
步骤四：将两个低分辨率的图像块得到的特征映射进行上采样恢复到正常图像块的大小；
步骤五：将得到的特征映射经过一个分类层，每一个特征映射将会得到对应的概率图；
图2是本发明中学习不同尺度块对应权重的示意图，包括以下步骤：
步骤一：从原始图块中得到3个不同尺度的图像块并作为输入；
步骤二：对每一个图像块都进行卷积操作，经过8个卷积核为3×3×3的卷积层；得到3个不同的特征映射；
步骤三：将3个特征映射经过1个卷积核为1×1×1的卷积层，以减少特征的数量，得到三个不同的特征映射；
步骤四：将两个低分辨率的图像块得到的特征映射进行上采样恢复到正常图像块的大小；
步骤五：将3个特征映射级联并且经过1个卷积核为1×1×1的卷积层，得到不同尺度图像块s相对整个神经网络的权重。

Claims (5)

1.一种基于3D卷积神经网络的脑胶质瘤分割方法，其特征在于包括以下步骤：
步骤一：数据处理，即按照要求将数据转为所需要的格式，并且对数据进行归一化处理；
步骤二：分类，从数据中提取3个不同尺度的图像块，作为3个输入经过三通路的3D卷积神经网络，得到3个不同的分类结果；
步骤三：计算权重，从数据中提取3个不同尺度的图像块，作为3个输入经过三通路的3D卷积神经网络，然后将三个不同的特征映射级联，经过1层卷积，得到不同尺度图像块的权重；
步骤四：脑胶质瘤分割，将步骤二得到的分类结果与步骤三得到的权重相乘并进行逐体素相加得到最终的胶质瘤分割结果。
2.权利要求1所述的一种基于3D卷积神经网络的脑胶质瘤分割方法，其特征在于：步骤而中的三通路的3D卷积神经网络训练及应用步骤如下：
(1)从数据中提取3个不同的尺度块s，分别输入3D卷积神经网络中；
(2)该3D卷积神经网络的结构为：一个三路并行的卷积神经网络，每一路只有输入的图像块尺度大小不同，每一路卷积神经网络均有9个卷积层，然后将分辨率较低的两个图像块恢复至正常图像分辨率；
(3)将步骤(2)所得的3个特征映射经过1个分类层，得到3个不同的分类结果。
3.权利要求1所述的一种基于3D卷积神经网络的胶质瘤分割方法，其特征在于：步骤三中学习不同尺度的权重训练，其步骤如下：
(1)将权利要求2中步骤(2)所得的特征映射级联，然后经过1个卷积层，得到一个特征映射；
(2)步骤(1)对不同尺度块s而言得到不同特征映射，不同尺度块的权值在所有通道共享；
(3)将特征映射进行分离，得到不同尺度块s对应的不同权值。
4.权利要求2所述的9个卷积层，前8个的卷积核大小均为3×3×3，最后1个卷积核大小为1×1×1。
5.权利要求3所述的1个卷积层，卷积核大小为1×1×1。
CN201910393521.0A 2019-05-13 2019-05-13 一种基于3d卷积神经网络的脑胶质瘤分割方法 Pending CN111932486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910393521.0A CN111932486A (zh) 2019-05-13 2019-05-13 一种基于3d卷积神经网络的脑胶质瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910393521.0A CN111932486A (zh) 2019-05-13 2019-05-13 一种基于3d卷积神经网络的脑胶质瘤分割方法

Publications (1)

Publication Number Publication Date
CN111932486A true CN111932486A (zh) 2020-11-13

Family

ID=73282498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393521.0A Pending CN111932486A (zh) 2019-05-13 2019-05-13 一种基于3d卷积神经网络的脑胶质瘤分割方法

Country Status (1)

Country Link
CN (1) CN111932486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200274A1 (en) * 2014-05-23 2017-07-13 Watrix Technology Human-Shape Image Segmentation Method
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109215040A (zh) * 2018-11-22 2019-01-15 济南浪潮高新科技投资发展有限公司 一种基于多尺度加权学习的乳腺肿瘤分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200274A1 (en) * 2014-05-23 2017-07-13 Watrix Technology Human-Shape Image Segmentation Method
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109215040A (zh) * 2018-11-22 2019-01-15 济南浪潮高新科技投资发展有限公司 一种基于多尺度加权学习的乳腺肿瘤分割方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BJOERN H. MENZE 等: "The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS)" *
KONSTANTINOS KAMNITSAS 等: "Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation" *
LIANG-CHIEH CHEN 等: "Attention to Scale: Scale-aware Semantic Image Segmentation" *
TARA N. SAINATH 等: "Multichannel Signal Processing With Deep Neural Networks for Automatic Speech Recognition" *
朱婷 等: "基于多通路CNN 的多模态MＲI 神经胶质瘤分割" *
胡睿 等: "结合注意力的3D卷积网络脑胶质瘤分割算法" *
谷宇 等: "多模态3D卷积神经网络脑部胶质瘤分割方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177627A (zh) * 2021-01-11 2021-07-27 联合微电子中心(香港)有限公司 优化系统、重新训练系统及其方法及处理器和可读介质
CN113177627B (zh) * 2021-01-11 2024-05-10 联合微电子中心有限责任公司 优化系统、重新训练系统及其方法及处理器和可读介质

Similar Documents

Publication Publication Date Title
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN107492071A (zh) 医学图像处理方法及设备
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN107220980A (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN104484886B (zh) 一种mr图像的分割方法及装置
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN110991254B (zh) 超声图像视频分类预测方法及系统
Yao et al. Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN107767362A (zh) 一种基于深度学习的肺癌早筛装置
CN112785603A (zh) 一种基于Unet和超像素的脑组织分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN114399510B (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN109409413B (zh) X射线乳腺肿块影像自动分类方法
CN110827283A (zh) 基于卷积神经网络的头颈血管分割方法及装置
CN117422871A (zh) 一种基于V-Net的轻量级脑肿瘤分割方法及系统
CN111932486A (zh) 一种基于3d卷积神经网络的脑胶质瘤分割方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination