CN112330662A - 一种基于多层级神经网络的医学图像分割系统及方法 - Google Patents

一种基于多层级神经网络的医学图像分割系统及方法 Download PDF

Info

Publication number
CN112330662A
CN112330662A CN202011337099.6A CN202011337099A CN112330662A CN 112330662 A CN112330662 A CN 112330662A CN 202011337099 A CN202011337099 A CN 202011337099A CN 112330662 A CN112330662 A CN 112330662A
Authority
CN
China
Prior art keywords
level
residual block
stage
layer
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011337099.6A
Other languages
English (en)
Other versions
CN112330662B (zh
Inventor
丁熠
郑伟
曹明生
邓伏虎
秦臻
谭富元
朱桂钦
张超
邱泸谊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011337099.6A priority Critical patent/CN112330662B/zh
Publication of CN112330662A publication Critical patent/CN112330662A/zh
Application granted granted Critical
Publication of CN112330662B publication Critical patent/CN112330662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多层级神经网络的医学图像分割系统及方法,属于医学图像处理技术领域,本发明将待分割的原始医学图像输入图像初始化模型进行初始特征的提取,然后将初始特征输入到多层级深度特征提取模型中,提取出图像的多层级深层特征,然后将深层特征输入到多层级分割模型中,同时将多层级深度特征提取模块中的深层特征,通过金字塔池化长连接模型,输入到多层级分割模型中,由多层级分割模型根据图像中逐个像素的分类情况,输出高精度分割后的医学图像,本发明提供的分割方法提升了医学图像深度特征提取效率,并能够提高医学影像分割的精度。

Description

一种基于多层级神经网络的医学图像分割系统及方法
技术领域
本发明属于医学图像处理技术领域,尤其涉及一种基于多层级神经网络的医学图像分割系统及方法。
背景技术
在医学图像处理领域,特别是在脑肿瘤的诊断诊断治疗周期中,一个精确可靠的脑肿瘤图像分割步骤起着关键性的作用。在实际的临床诊疗过程中,通常是由丰富的临床诊疗医生根据自己的专业领域知识,手工勾画出感兴趣的医学图像区间,即临床上广泛采用人工处理的方法对脑肿瘤图像进行病灶区域的分割。然而,由于手工进行脑肿瘤图像的分割是一项非常繁琐复杂的工作,因此研究者们在研发半自动或自动的脑肿瘤图像分割方法上付出了许多努力。
早期的图像处理技术主要是建立于数字信号处理学科的基础上,把图像当作信号特征进行时域和频域上的分析以及滤波处理等,然而这些操作并不能高效地提取图像中的隐藏的深层级别的特征,早期的图像处理技术只能在相对简单的图像处理任务上取得成效。神经网络方法的出现和快速发展使得改善这些问题的状况有所好转,神经网络能够高效的提取出图像的深层级的特征。目前,卷积神经网络已被应用于众多计算机视觉处理任务中,正逐步取代原始的图像处理技术,卷积神经网络降低了神经网络模型的复杂性,降低了计算所需要的资源开销,同时卷积神经网络还可以通过自学习的方式,避免了传统图像处理算法和数据重构过程中复杂设计的特征提取过程,基于这些优势,神经网络方法在医学图像处理任务中被广泛采用。
然而,传统的神经网络是一个单层级网络,将图像从浅层特征到深层特征的过程,提取出的特征丰富度有限,同样的,在网络上采样的过程中,也是只有一个单层级的网络结构,处理结果精度不高,另外,在特征由提取阶段到上采样之间的连接方式也较为局限,多数采用的是同尺寸特征直连的方式,忽略了一些全局特征对局部特征的影响。换句话说,大多数方法忽略了在神经网络宽度的扩展以及拓展方式,没有对浅层特征进一步利用,使得获取的深层特征丰富度不足,从而分割的脑肿瘤图像效果较差,无法准确高效的分割出病灶区域。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于多层级神经网络的医学图像分割系统及方法,解决了传统医学图像分割方法所分割图像精度不足的问题。
为了达到以上目的,本发明采用的技术方案为:
本方案提供一种基于多层级神经网络的医学图像分割系统,包括图像初始化模块、多层级深度特征提取模块、金字塔池化长连接模块以及多层级分割模块;
所述图像初始化模块,用于将采集的原始医学图像输入至图像初始化模型,并利用图像初始化模型提取原始医学图像的初始化特征;
所述多层级深度特征提取模块,用于利用原始医学图像的初始化特征训练多层级深度特征提取模型,并利用训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;
所述金字塔池化长连接模块,用于根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;
所述多层级分割模块,用于利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并利用训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
进一步地,所述图像初始化模型包括批量归一化层、分别与所述批量归一化层连接的第一卷积层和最大池化层以及分别与所述第一卷积层和最大池化层连接的第二卷积层;所述第二卷积层与所述多层级深度特征提取模型连接;
所述第一卷积层的卷积核大小为3*3,步长为2;所述最大池化层的卷积核大小为5*5,步长为2;所述第二卷积层的卷积核大小为3*3,步长为1。
再进一步地,所述多层级深度特征提取模型包括与所述第二卷积层连接的第一级第一残差块、分别与所述第一级第一残差块连接的第一级第二残差块和第二级第一残差块、与所述第一级第二残差块连接的第一级第三残差块、分别与所述第二级第一残差块连接的第二级第二残差块和第三级第一残差块、与所述第二级第二残差块连接的第二级第三残差块、与所述第三级第一残差块连接的第三级第二残差块、与所述第三级第二残差块连接的第三级第三残差块以及与所述第三级第三残差块连接的第三级第四残差块;所述第一级第二残差块与所述第二级第二残差块连接,所述第二级第二残差块与所述第三级第二残差块连接;所述第一级第三残差块与所述第二级第三残差块连接,所述第二级第三残差块与所述第三级第三残差块连接;所述第一级第三残差块与所述第二级第三残差块均与所述第三级第四残差块连接;所述第三级第四残差块与所述多层级分割模型连接;所述第三级第一残差块、第三级第二残差块以及第三级第三残差块分别与金字塔池化长连接模型和多层级分割模型连接。
再进一步地,所述第一级第一残差块、第一级第二残差块、第一级第三残差块、第二级第一残差块、第二级第二残差块、第二级第三残差块、第三级第一残差块、第三级第二残差块、第三级第三残差块和第三级第四残差块的残差块结构均相同,均包括若干个依次连接的残差单元。
再进一步地,各所述残差单元包括依次连接的第三卷积层、第四卷积层、第五卷积层和矩阵相加层;所述第三卷积层的输入端与所述矩阵相加层的输入端连接;
所述第三卷积层的卷积核大小为1*1,步长为1;所述第四卷积层的卷积核大小为3*3,步长为1;所述第五卷积层的卷积核大小为1*1,步长为1。
再进一步地,所述金字塔池化长连接模型包括第一池化块和第二池化块;所述第一池化块分别与第三级第一残差块、第三级第二残差块以及第三级第三残差块连接,所述第二池化块分别与第三级第一残差块和第三级第二残差块连接;
所述第一池化块与第三级第一残差块连接时,其池化大小为7*7,步长为4;所述第一池化块与第三级第二残差块连接时,其池化大小为5*5,步长为2;所述第一池化块与第三级第三残差块连接时,其池化大小为3*3,步长为1;所述第二池化块与第三级第一残差块连接时,其池化大小为7*7,步长为2;所述第二池化块与第三级第二残差块连接时,其池化大小为5*5,步长为1。
再进一步地,所述多层级分割模型包括第一级第一反卷积层、分别与所述第一级第一反卷积层连接的第一级第二反卷积层和第二级第一反卷积层、与所述第一级第二反卷积层连接的第一级第三反卷积层、分别与所述第二级第一反卷积层连接的第三级第一反卷积层和第二级第二反卷积层、与所述第二级第二反卷积层连接的第二级第三反卷积层、与所述第三级第一反卷积层连接的第三级第二反卷积层、与所述第三级第二反卷积层连接的第三级第三反卷积层、与所述第三级第三反卷积层连接的第三级第四反卷积层;所述第一级第二反卷积层与所述第二级第二反卷积层连接,所述第二级第二反卷积层与所述第三级第二反卷积层连接;所述第一级第三反卷积层与所述第二级第三反卷积层连接,所述第二级第三反卷积层与所述第三级第三反卷积层连接;所述第一级第一反卷积层与所述第三级第四残差块连接;所述第一级第一反卷积层与所述第三级第三残差块连接;所述第一级第二反卷积层与所述第三级第二残差块连接;所述第一级第三反卷积层与所述第三级第一残差块连接;
所述第一级第一反卷积层、第一级第二反卷积层、第一级第三反卷积层、第二级第一反卷积层、第二级第二反卷积层、第二级第三反卷积层、第三级第一反卷积层、第三级第二反卷积层、第三级第三反卷积层和第三级第四反卷积层的结构均相同,其卷积核大小均为3*3,步长均为2。
本发明还提供了一种基于多层级神经网络的医学图像分割系统的医学图像分割方法,其特征在于,包括以下步骤:
S1、将采集的原始医学图像输入至图像初始化模型,并利用图像初始化模型提取原始医学图像的初始化特征;
S2、利用原始医学图像的初始化特征训练多层级深度特征提取模型,并利用训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;
S3、根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;
S4、利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并利用训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
本发明的有益效果:
(1)本发明将待分割的原始医学图像输入图像初始化模型进行初始特征的提取,然后将初始特征输入到多层级深度特征提取模型中,提取出图像的多层级深层特征,然后将深层特征输入到多层级分割模型中,同时将多层级深度特征提取模块中的深层特征,通过金字塔池化长连接模型,输入到多层级分割模型中,由多层级分割模型根据图像中逐个像素的分类情况,输出高精度分割后的医学图像,本发明提供的分割方法提升了医学图像深度特征提取效率,并能够提高医学影像分割的精度。
(2)本发明通过构建多层级深度特征提取模型,使得神经网络提取的医学图像特征更加丰富,使得图像处理结果更加准确.
(3)本发明通过构建多层级深度特征提取模型和多层级分割模型之间的金字塔池化长连接模型,充分考虑了不同层级之间的特征信息融合,提升了神经网络特征传播的效率,提升了图像分割的精度。
(4)本发明通过构建多层级分割模型,高效的利用医学图像深层特征进行图像的分割,提升了图像分割的精度。
附图说明
图1为本发明的系统结构示意图。
图2为本发明中图像初始化模型的结构示意图。
图3为本发明中多层级深度特征提取模型的结构示意图。
图4为本发明中金字塔池化长连接模型的结构示意图。
图5为本发明中多层级分割模型的结构示意图。
图6为本发明的方法流程图。
图7本发实施例中脑部肿瘤图像的分割效果示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1所示,本发明提供了一种基于多层级神经网络的医学图像分割系统,包括图像初始化模块、多层级深度特征提取模块、金字塔池化长连接模块以及多层级分割模块;图像初始化模块,用于将采集的原始医学图像输入至图像初始化模型,并根据图像初始化模型提取原始医学图像的初始化特征;多层级深度特征提取模块,用于利用原始医学图像的初始化特征训练多层级深度特征提取模型,并根据训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;金字塔池化长连接模块,用于根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;多层级分割模块,用于利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并根据训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
如图2所示,图像初始化模型包括批量归一化层、分别与所述批量归一化层连接的第一卷积层和最大池化层以及分别与所述第一卷积层和最大池化层连接的第二卷积层;所述第二卷积层与所述多层级深度特征提取模型连接;第一卷积层的卷积核大小为3*3,步长为2;所述最大池化层的卷积核大小为5*5,步长为2;所述第二卷积层的卷积核大小为3*3,步长为1。
如图3(a)所示,多层级深度特征提取模型包括与所述第二卷积层连接的第一级第一残差块、分别与所述第一级第一残差块连接的第一级第二残差块和第二级第一残差块、与所述第一级第二残差块连接的第一级第三残差块、分别与所述第二级第一残差块连接的第二级第二残差块和第三级第一残差块、与所述第二级第二残差块连接的第二级第三残差块、与所述第三级第一残差块连接的第三级第二残差块、与所述第三级第二残差块连接的第三级第三残差块以及与所述第三级第三残差块连接的第三级第四残差块;所述第一级第二残差块与所述第二级第二残差块连接,所述第二级第二残差块与所述第三级第二残差块连接;所述第一级第三残差块与所述第二级第三残差块连接,所述第二级第三残差块与所述第三级第三残差块连接;所述第一级第三残差块与所述第二级第三残差块均与所述第三级第四残差块连接;所述第三级第四残差块与所述多层级分割模型连接;所述第三级第一残差块、第三级第二残差块以及第三级第三残差块分别与金字塔池化长连接模型和多层级分割模型连接。第一级第一残差块、第一级第二残差块、第一级第三残差块、第二级第一残差块、第二级第二残差块、第二级第三残差块、第三级第一残差块、第三级第二残差块、第三级第三残差块和第三级第四残差块的残差块结构均相同,均包括若干个依次连接的残差单元。如图3(b)所示,各所述残差单元包括依次连接的第三卷积层、第四卷积层、第五卷积层和矩阵相加层;所述第三卷积层的输入端与所述矩阵相加层的输入端连接;第三卷积层的卷积核大小为1*1,步长为1;所述第四卷积层的卷积核大小为3*3,步长为1;所述第五卷积层的卷积核大小为1*1,步长为1。
如图4所示,金字塔池化长连接模型包括第一池化块和第二池化块;所述第一池化块分别与第三级第一残差块、第三级第二残差块以及第三级第三残差块连接,所述第二池化块分别与第三级第一残差块和第三级第二残差块连接;第一池化块与第三级第一残差块连接时,其池化大小为7*7,步长为4;所述第一池化块与第三级第二残差块连接时,其池化大小为5*5,步长为2;所述第一池化块与第三级第三残差块连接时,其池化大小为3*3,步长为1;所述第二池化块与第三级第一残差块连接时,其池化大小为7*7,步长为2;所述第二池化块与第三级第二残差块连接时,其池化大小为5*5,步长为1。
如图5所示,多层级分割模型包括第一级第一反卷积层、分别与所述第一级第一反卷积层连接的第一级第二反卷积层和第二级第一反卷积层、与所述第一级第二反卷积层连接的第一级第三反卷积层、分别与所述第二级第一反卷积层连接的第三级第一反卷积层和第二级第二反卷积层、与所述第二级第二反卷积层连接的第二级第三反卷积层、与所述第三级第一反卷积层连接的第三级第二反卷积层、与所述第三级第二反卷积层连接的第三级第三反卷积层、与所述第三级第三反卷积层连接的第三级第四反卷积层;所述第一级第二反卷积层与所述第二级第二反卷积层连接,所述第二级第二反卷积层与所述第三级第二反卷积层连接;所述第一级第三反卷积层与所述第二级第三反卷积层连接,所述第二级第三反卷积层与所述第三级第三反卷积层连接;所述第一级第一反卷积层与所述第三级第四残差块连接;所述第一级第一反卷积层与所述第三级第三残差块连接;所述第一级第二反卷积层与所述第三级第二残差块连接;所述第一级第三反卷积层与所述第三级第一残差块连接;第一级第一反卷积层、第一级第二反卷积层、第一级第三反卷积层、第二级第一反卷积层、第二级第二反卷积层、第二级第三反卷积层、第三级第一反卷积层、第三级第二反卷积层、第三级第三反卷积层和第三级第四反卷积层的结构均相同,其卷积核大小均为3*3,步长均为2。
本实施例中,基于多层级神经网络的医学图像分割系统的具体训练方法为:获取脑肿瘤原始医学图像,并进行专业的手工标注;获取对应的真值图;将原始医学图像作为训练数据依次输入多层级神经网络模型中,将真值图作为标签;将训练数据对应的分割结果和真值标签之间的交叉熵损失值最小化作为目标,采用Adam算法作为模型的优化器,初始的网络模型学习率设置为0.0001,并每个训练周期衰减为原来的一半值,对神经网络进行训练;待训练数据对应的分割结果和真值标签之间的交叉熵损失值基本平稳后,训练完成,保存训练完成的神经网络模型参数,将此时的网络参数作为最终的神经网络参数,用于医学图像的精确分割任务。
在本实施例中,通过将采集到的脑肿瘤原始医学图像输入到图像初始化模块中,提取图像初始化特征,尺寸为原始医学的一半,并输入到多层级深度特征提取模型中,图像初始化特征每经过第一、第二、第三残差块后,尺寸缩小为原来的一半,不同层级的相同序数的残差块之间连接的输入输出并不改变特征尺寸,同时提取不同深度的神经网络特征,经过多层级深度特征提取模型中最后的第三级第四残差块之后,得到尺寸为原始医学图像1/16的多层级深度特征,作为多层级分割模型的输入;在金字塔池化长连接模型中,将的多层级深度特征提取模型中第三级第一残差块、第三级第二残差块、第三级第三残差块提取到的中间特征,通过最大池化的方式,使用第一池化块将第三级第一残差块、第三级第二残差块、第三级第三残差块中的特征池化到与第一级第一反卷积层输入特征相同的尺寸,直接传递给多层级分割模块中的第一级第一反卷积层,同样的,使用第二池化块将第三级第一残差块、第三级第二残差块中的特征池化到与第一级第二反卷积层输入特征相同的尺寸,直接传递给多层级分割模块中的第一级第二反卷积层,另外,第一级第三反卷积层则直接使用第三级第一残差块的最大池化特征作为输入,金字塔池化长连接模块能够增强医学图像在分割过程中的全局特征,提升分割精确度;在多层级分割模块中,多层级深度特征每经过第一、第二、第三反卷积层后,尺寸放大为原来的2倍,同时进行医学图像的语义分割,经过多层级分割模块中最后的第三级第四反卷积层之后,得到和原始医学图像尺寸相同的医学图像分割结果。
本实施例中,本发明提供的分割方法提升了医学图像深度特征提取效率,并能够提高医学影像分割的精度。
实施例2
如图6所示,本发明提供了一种基于多层级神经网络的医学图像分割系统的医学图像分割方法,其实现方法如下:
S1、将采集的原始医学图像输入至图像初始化模型,并利用图像初始化模型提取原始医学图像的初始化特征;
S2、利用原始医学图像的初始化特征训练多层级深度特征提取模型,并利用训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;
S3、根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;
S4、利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并利用训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
在本实施例中,通过将采集到的脑肿瘤原始医学图像输入到图像初始化模块中,提取图像初始化特征,尺寸为原始医学的一半,并输入到多层级深度特征提取模型中,图像初始化特征每经过第一、第二、第三残差块后,尺寸缩小为原来的一半,不同层级的相同序数的残差块之间连接的输入输出并不改变特征尺寸,同时提取不同深度的神经网络特征,经过多层级深度特征提取模型中最后的第三级第四残差块之后,得到尺寸为原始医学图像1/16的多层级深度特征,作为多层级分割模型的输入;在金字塔池化长连接模型中,将的多层级深度特征提取模型中第三级第一残差块、第三级第二残差块、第三级第三残差块提取到的中间特征,通过最大池化的方式,使用第一池化块将第三级第一残差块、第三级第二残差块、第三级第三残差块中的特征池化到与第一级第一反卷积层输入特征相同的尺寸,直接传递给多层级分割模块中的第一级第一反卷积层,同样的,使用第二池化块将第三级第一残差块、第三级第二残差块中的特征池化到与第一级第二反卷积层输入特征相同的尺寸,直接传递给多层级分割模块中的第一级第二反卷积层,另外,第一级第三反卷积层则直接使用第三级第一残差块的最大池化特征作为输入,金字塔池化长连接模块能够增强医学图像在分割过程中的全局特征,提升分割精确度;在多层级分割模块中,多层级深度特征每经过第一、第二、第三反卷积层后,尺寸放大为原来的2倍,同时进行医学图像的语义分割,经过多层级分割模块中最后的第三级第四反卷积层之后,得到和原始医学图像尺寸相同的医学图像分割结果。
在本实施例中,如图7所示,原始医学图像是由采集的脑部核磁共振医学图像,真值图是由专业人员手工标注的参考分割结果,通过对比常用的残差神经网络分割图、U型神经网络分割图和本发明所诉的多层级神经网络分割图,可以得出,本发明对于脑部肿瘤图像的分割精度高,分割效果较好。
本实施例中,本发明所提供的脑肿瘤医学图像分割方法与当前主流的图像分割方法,在脑肿瘤分割数据集BRATS2015上进行对比,表1为本发明与当前的图像分割方法结果展示。
表1
Figure BDA0002797567930000131
从表1可以明显看出,本发明相较于其他当前主流的图像分割方法,本方面对脑部各种肿瘤区域的分割精度都更高,分割效果更好。

Claims (8)

1.一种基于多层级神经网络的医学图像分割系统,其特征在于,包括图像初始化模块、多层级深度特征提取模块、金字塔池化长连接模块以及多层级分割模块;
所述图像初始化模块,用于将采集的原始医学图像输入至图像初始化模型,并利用图像初始化模型提取原始医学图像的初始化特征;
所述多层级深度特征提取模块,用于利用原始医学图像的初始化特征训练多层级深度特征提取模型,并利用训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;
所述金字塔池化长连接模块,用于根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;
所述多层级分割模块,用于利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并利用训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
2.根据权利要求1所述的基于多层级神经网络的医学图像分割系统,其特征在于,所述图像初始化模型包括批量归一化层、分别与所述批量归一化层连接的第一卷积层和最大池化层以及分别与所述第一卷积层和最大池化层连接的第二卷积层;所述第二卷积层与所述多层级深度特征提取模型连接;
所述第一卷积层的卷积核大小为3*3,步长为2;所述最大池化层的卷积核大小为5*5,步长为2;所述第二卷积层的卷积核大小为3*3,步长为1。
3.根据权利要求2所述的基于多层级神经网络的医学图像分割系统,其特征在于,所述多层级深度特征提取模型包括与所述第二卷积层连接的第一级第一残差块、分别与所述第一级第一残差块连接的第一级第二残差块和第二级第一残差块、与所述第一级第二残差块连接的第一级第三残差块、分别与所述第二级第一残差块连接的第二级第二残差块和第三级第一残差块、与所述第二级第二残差块连接的第二级第三残差块、与所述第三级第一残差块连接的第三级第二残差块、与所述第三级第二残差块连接的第三级第三残差块以及与所述第三级第三残差块连接的第三级第四残差块;所述第一级第二残差块与所述第二级第二残差块连接,所述第二级第二残差块与所述第三级第二残差块连接;所述第一级第三残差块与所述第二级第三残差块连接,所述第二级第三残差块与所述第三级第三残差块连接;所述第一级第三残差块与所述第二级第三残差块均与所述第三级第四残差块连接;所述第三级第四残差块与所述多层级分割模型连接;所述第三级第一残差块、第三级第二残差块以及第三级第三残差块分别与金字塔池化长连接模型和多层级分割模型连接。
4.根据权利要求3所述的基于多层级神经网络的医学图像分割系统,其特征在于,所述第一级第一残差块、第一级第二残差块、第一级第三残差块、第二级第一残差块、第二级第二残差块、第二级第三残差块、第三级第一残差块、第三级第二残差块、第三级第三残差块和第三级第四残差块的残差块结构均相同,均包括若干个依次连接的残差单元。
5.根据权利要求4所述的基于多层级神经网络的医学图像分割系统,其特征在于,各所述残差单元包括依次连接的第三卷积层、第四卷积层、第五卷积层和矩阵相加层;所述第三卷积层的输入端与所述矩阵相加层的输入端连接;
所述第三卷积层的卷积核大小为1*1,步长为1;所述第四卷积层的卷积核大小为3*3,步长为1;所述第五卷积层的卷积核大小为1*1,步长为1。
6.根据权利要求5所述的基于多层级神经网络的医学图像分割系统,其特征在于,所述金字塔池化长连接模型包括第一池化块和第二池化块;所述第一池化块分别与第三级第一残差块、第三级第二残差块以及第三级第三残差块连接,所述第二池化块分别与第三级第一残差块和第三级第二残差块连接;
所述第一池化块与第三级第一残差块连接时,其池化大小为7*7,步长为4;所述第一池化块与第三级第二残差块连接时,其池化大小为5*5,步长为2;所述第一池化块与第三级第三残差块连接时,其池化大小为3*3,步长为1;所述第二池化块与第三级第一残差块连接时,其池化大小为7*7,步长为2;所述第二池化块与第三级第二残差块连接时,其池化大小为5*5,步长为1。
7.根据权利要求6所述的基于多层级神经网络的医学图像分割系统,其特征在于,所述多层级分割模型包括第一级第一反卷积层、分别与所述第一级第一反卷积层连接的第一级第二反卷积层和第二级第一反卷积层、与所述第一级第二反卷积层连接的第一级第三反卷积层、分别与所述第二级第一反卷积层连接的第三级第一反卷积层和第二级第二反卷积层、与所述第二级第二反卷积层连接的第二级第三反卷积层、与所述第三级第一反卷积层连接的第三级第二反卷积层、与所述第三级第二反卷积层连接的第三级第三反卷积层、与所述第三级第三反卷积层连接的第三级第四反卷积层;所述第一级第二反卷积层与所述第二级第二反卷积层连接,所述第二级第二反卷积层与所述第三级第二反卷积层连接;所述第一级第三反卷积层与所述第二级第三反卷积层连接,所述第二级第三反卷积层与所述第三级第三反卷积层连接;所述第一级第一反卷积层与所述第三级第四残差块连接;所述第一级第一反卷积层与所述第三级第三残差块连接;所述第一级第二反卷积层与所述第三级第二残差块连接;所述第一级第三反卷积层与所述第三级第一残差块连接;
所述第一级第一反卷积层、第一级第二反卷积层、第一级第三反卷积层、第二级第一反卷积层、第二级第二反卷积层、第二级第三反卷积层、第三级第一反卷积层、第三级第二反卷积层、第三级第三反卷积层和第三级第四反卷积层的结构均相同,其卷积核大小均为3*3,步长均为2。
8.如权利要求1-7任一所述的基于多层级神经网络的医学图像分割系统的医学图像分割方法,其特征在于,包括以下步骤:
S1、将采集的原始医学图像输入至图像初始化模型,并利用图像初始化模型提取原始医学图像的初始化特征;
S2、利用原始医学图像的初始化特征训练多层级深度特征提取模型,并利用训练后的多层级深度特征提取模型分别提取医学图像的多层级深度特征以及浅层特征;
S3、根据所述医学图像的浅层特征,利用金字塔池化长连接模型弥补多层级深度特征提取模型中丢失的卷积信息,得到全局聚合特征;
S4、利用医学图像的多层级深度特征以及全局聚合特征训练多层级分割模型,并利用训练后的多层级分割模型得到原始医学图像的分割结果,完成基于多层级神经网络的医学图像分割。
CN202011337099.6A 2020-11-25 2020-11-25 一种基于多层级神经网络的医学图像分割系统及方法 Active CN112330662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011337099.6A CN112330662B (zh) 2020-11-25 2020-11-25 一种基于多层级神经网络的医学图像分割系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011337099.6A CN112330662B (zh) 2020-11-25 2020-11-25 一种基于多层级神经网络的医学图像分割系统及方法

Publications (2)

Publication Number Publication Date
CN112330662A true CN112330662A (zh) 2021-02-05
CN112330662B CN112330662B (zh) 2022-04-12

Family

ID=74309502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011337099.6A Active CN112330662B (zh) 2020-11-25 2020-11-25 一种基于多层级神经网络的医学图像分割系统及方法

Country Status (1)

Country Link
CN (1) CN112330662B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257392A (zh) * 2021-04-20 2021-08-13 哈尔滨晓芯科技有限公司 一种超声机普适外接数据自动预处理方法
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110619334A (zh) * 2019-09-16 2019-12-27 Oppo广东移动通信有限公司 基于深度学习的人像分割方法、架构及相关装置
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205758A1 (en) * 2016-12-30 2019-07-04 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110619334A (zh) * 2019-09-16 2019-12-27 Oppo广东移动通信有限公司 基于深度学习的人像分割方法、架构及相关装置
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAO CHEN 等: "Brain Tumor Segmentation with Generative Adversarial Nets", 《2019 2ND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND BIG DATA (ICAIBD)》 *
岳师怡: ""基于多层级上下文信息的图像语义分割", 《激光与光电子学进展》 *
陈浩 等: "一种两阶段的由粗到细的多模态脑肿瘤分割框架", 《电子科技大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257392A (zh) * 2021-04-20 2021-08-13 哈尔滨晓芯科技有限公司 一种超声机普适外接数据自动预处理方法
CN113257392B (zh) * 2021-04-20 2024-04-16 哈尔滨晓芯科技有限公司 一种超声机普适外接数据自动预处理方法
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统
CN116188479B (zh) * 2023-02-21 2024-04-02 北京长木谷医疗科技股份有限公司 基于深度学习的髋关节图像分割方法及系统

Also Published As

Publication number Publication date
CN112330662B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110929789A (zh) 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN110895817A (zh) 一种基于影像组学分析的mri影像肝纤维化自动分级方法
CN110717907A (zh) 一种基于深度学习的手部肿瘤智能检测方法
CN112330662B (zh) 一种基于多层级神经网络的医学图像分割系统及方法
CN110570432A (zh) 一种基于深度学习的ct图像肝脏肿瘤分割方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
CN112102266A (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN110942466B (zh) 一种基于深度学习技术的脑动脉分割方法及装置
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN108629772A (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN110246579B (zh) 一种病理诊断方法及装置
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN115511795A (zh) 一种基于半监督学习的医学图像分割方法
CN115601330A (zh) 一种基于多尺度空间反向注意力机制的结肠息肉分割方法
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN111612739B (zh) 一种基于深度学习的脑梗死分类方法
CN111210398A (zh) 基于多尺度池化的白细胞识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant