CN112215844A - 基于ACU-Net的MRI多模态图像分割方法和系统 - Google Patents

基于ACU-Net的MRI多模态图像分割方法和系统 Download PDF

Info

Publication number
CN112215844A
CN112215844A CN202011345892.0A CN202011345892A CN112215844A CN 112215844 A CN112215844 A CN 112215844A CN 202011345892 A CN202011345892 A CN 202011345892A CN 112215844 A CN112215844 A CN 112215844A
Authority
CN
China
Prior art keywords
image
segmentation
acu
net
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011345892.0A
Other languages
English (en)
Inventor
谈玲
马雯杰
夏景明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011345892.0A priority Critical patent/CN112215844A/zh
Publication of CN112215844A publication Critical patent/CN112215844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于ACU‑Net的MRI多模态图像分割方法和系统，包括多模态图像预处理、图像浅层与深层结构特征提取、像素级标注和活动轮廓约束；构建深度可分离卷积，解耦分离学习空间相关性与通道相关性；根据残差密集块的局部特征自适应学习，将特征进行融合并联合学习前面的局部特征，利用在U‑Net长跳跃连接中加入ResNet短跳跃连接的方式实现像素标注；活动轮廓约束将边界线分割与区域分割相结合，针对图像梯度和能量函数对分割边缘进行约束，并通过模型的训练和优化获得病灶区域。本发明较好地克服图像噪声和边缘夹缝，解决多模态图像病理组织高异质性与分辨率不明显问题。

Description

基于ACU-Net的MRI多模态图像分割方法和系统
技术领域
本发明涉及图像处理领域，尤其涉及一种MRI多模态图像分割方法和系统。
背景技术
图像处理主要是将目标图像转化为数字矩阵存放在计算机中并且采取针对性的算法对形成的数字矩阵进行处理，常用图像增强、图像分割、图像分类等方法解决多种应用问题。图像分割可以从图像中提取出感兴趣区域，是由图像处理至图像分析的关键性过渡步骤。在医学领域中，图像可分割成多个区域，能够识别感兴趣区域，即定位肿瘤、病变区域和其他病理组织，研究解剖结构，测量组织体积，观察肿瘤延伸或治疗中肿瘤体积变化，为治疗计划和治疗判断提供帮助及药物剂量计算等等。在计算机辅助医学图像分割技术中，脑肿瘤分割作为较为成熟的方法占据关键的研究地位，不仅为病理学和临床医学提供了有力的依据，也能辅助医生完成更加精准的诊治。
目前医学图像的分割存在医学数据集小，图像噪声差异大等问题，另外，由于将近50%的人类器官都存在非对称性解剖变异、变异频率不同、先天性囊肿等正常发育畸形现象，导致图像分割工作开展艰难。
瘤周局限性水肿和脑部胶质细胞演化区域在不同电磁波物理量捕获成像数据时容易产生细微偏差，采用MRI多模态图像可以弥补光度表示、空间分辨率、图像大小等信息上的差距。现阶段，临床医生需要查看不同时间段的图像来解决病例分析、术中定位，且通过人工进行肿瘤病变区域分割工作量大，复杂性差；通过深度学习网络模型进行切片间的特征融合、病变分割等医学影像分析相较人工分割精确度更高，且可跟踪某特定时间点肿瘤发展情况。
发明内容
发明目的：本发明针对现有数据集有限及图像分辨率不足等问题，提供一种基于活动轮廓约束U-Net（Active Contour U-Net，简称ACU-Net）的MRI多模态图像分割方法和系统，能够解决追踪肿瘤形变和高异质性病理组织边缘模糊的问题。
技术方案：为实现上述目的，本发明提出一种基于ACU-Net的MRI多模态图像分割方法，其包括以下步骤：
S1，获取MRI多模态图像：原生T1、T2加权、对比增强T1ce以及液体衰减反转恢复Flair模态，并对图像进行预处理；
S2，构建ACU-Net分割网络，对预处理得到的数据集进行图像浅层与深层结构特征提取及像素级标注处理；
ACU-Net网络包含编码器-解码器部分，编码器部分进行图像浅层与深层特征提取，特征提取网络包含小尺度特征提取、跨尺度特征融合及抽象特征采样，ACU-Net网络解码器部分的主要作用是逐步实现对解码器的像素类别标注，解码器的输入是编码器提供的特征图；
S3，使用活动轮廓模型检测分割边缘，采用活动轮廓边缘约束，将病变区域分割与核心坏死区域分割相结合，同时对病变区域边界与核心坏死区边界线进行精确区分；
S4，训练ACU-Net模型，优化模型参数，计算模型分割精确度。
其中，上述步骤S1中，图像预处理过程包括以下步骤：
S11，读取NIFTI格式立体图像，采用二分位数分割法将每个病例的原生T1、T2加权、对比增强T1ce以及液体衰减反转恢复Flair四个模态从横断位截面进行切片得到2D像素脑图；
S12，对纯黑色背景区域采用零-均值规范化(z-score)方式进行归一化操作，屏蔽图像中的未成像区域，去除冗余信息实现中心化的处理；
S13，裁剪图像将分辨率从原始值调整为偶数像素值；
S14，对图像进行判断，去除没有病灶的切片缓解类别间分类不均衡的问题；
S15，输入下一张图像，依次重复上述S11至S14步骤，直至遍历完数据集中所有图像。
进一步地，所述裁剪图像的分辨率阈值设置为160×160；以适应步骤S21中卷积核数设置[32，64，128，256，512]。
上述步骤S2中，基于ACU-Net网络的MRI多模态图像分割网络以VGG16网络作为基础框架，将网络中的3个完全连接层和1个逻辑回归层删除，同时增加2个卷积层和18个归一化层，组成9个独立卷积块，将普通卷积层替换为深度可分离卷积，不同于U-Net分割网络的普通卷积层同步学习空间相关性与通道相关性，解码器根据残差密集块长、短跳跃连接结合逐步实现对解码器的像素类别标注，解码器输入的是编码器提供的特征图，具体包括以下步骤：
S21，在二维平面内进行深度卷积操作，每个通道同步独立操作，对4个输入通道采用不同的3×3卷积核逐通道进行卷积，卷积核数依次设置为[32，64，128，256，512]；
S22，将深度卷积的4个输出通过卷积核为1×1的逐点卷积整合得到特征图；
S23，使用卷积层和激活层（ReLU层）来实现对表面特征信息的提取，残差密集块局部自适应学习前一卷积块与当前卷积块的有效特征信息，从而适应更深层的网络，将这些特征进行融合并联合学习前面的局部特征，在U-Net长跳跃连接中引入ResNet网络短跳跃连接方式，将两者结合以减轻网络退化、增强网络泛化。
上述步骤S3中，活动轮廓模型针对图像梯度对分割边缘进行约束，轮廓线朝着分割边缘方向不断逼近；其包括以下步骤：
S31，在网络模型分割出的感兴趣区域附近设置初始曲线v(s) = [P(s)，Q(s)]，
Figure 736904DEST_PATH_IMAGE001
，其中s是傅里叶变换形式的边界自变量，P(s)和Q(s)分别表示初始曲线的点在图像中的横向和纵向的坐标位置；
S32，控制形变收缩速度和弯曲程度，使约束曲线不断形变无限吻合于目标轮廓，其公式为：
Figure 679452DEST_PATH_IMAGE002
其中：s是傅里叶变换形式的边界自变量；α(s)是制约轮廓连续性的弹性系数；β(s)是形变曲线向目标轮廓靠近时，限制变换速度的强度系数；G σ 是标准差为σ的径向基函数；x表示真实点；y表示预测点；I(x,y)是外部能量值；
Figure 117387DEST_PATH_IMAGE003
控制图像局部特征与形变曲线吻合情况；一阶导数的模
Figure 538004DEST_PATH_IMAGE004
的作用是控制形变曲线收缩的速度；二阶导数的模
Figure 948256DEST_PATH_IMAGE005
的作用是控制曲线轮廓的弯曲程度；E为能量泛函，表示能量函数与轮廓之间的关系；
S33，进行多次迭代，能量泛函约束至最小值，此时初始曲线收敛，获得最优化边界。
上述步骤S4中，一种基于ACU-Net网络的MRI多模态图像分割方法的分割精确度的方法为：
Figure 61706DEST_PATH_IMAGE006
其中：HD M (X,Y)为形状相似性度量；x表示真实点；y表示预测点；X为真实距离；Y为预测距离；d(x,y)为从轮廓线到病变区域的豪斯多夫距离；M表示权重系数，目的是消除离群值的影响。
本发明还提供了一种基于ACU-Net的MRI多模态图像分割系统，包括：
（1）图像预处理模块，对图像进行预处理，并将处理后的数据集输入网络中；
（2）分割网络，网络结构将VGG16网络中的3个完全连接层和1个逻辑回归层删除，同时增加2个卷积层和18个归一化层，组成9个独立卷积块；分割网络包括图像特征提取部分、像素标注部分以及活动轮廓边缘约束部分，将图像预处理之后得到的数据集输入ACU-Net网络中，得到病变区域分割以及核心坏死分割区域，并通过模型的训练和优化来获得病变区的其他部分；
（3）输出模块，获取异常区域并输出结果。
其中，图像特征提取模块用于将预处理后的数据集进行小尺度特征提取、跨尺度特征提取、抽象特征采样；像素标注模块利用残差密集块长、短跳跃连接结合逐步实现对解码器的像素类别标注，解码器的输入是编码器提供的特征图；活动轮廓约束模块利用图像梯度对分割边缘进行约束，轮廓线朝着分割边缘方向不断逼近。
图像浅层与深层结构特征提取包含小尺度特征提取、跨尺度特征融合以及抽象特征采样。首先构建深度可分离卷积，耦合分离学习空间相关性与通道相关性。根据残差密集块的局部特征自适应学习，将特征进行融合并联合学习所有局部特征，利用在U-Net长跳跃连接中加入ResNet短跳跃连接的方式实现像素标注。活动轮廓约束将边界线分割与区域分割结合，考虑预测边界内、外部的情况。针对图像梯度和能量函数对分割边缘进行约束，使得轮廓线朝着分割边缘方向不断逼近，最后通过模型的训练和优化来获得病灶区域输出结果。
本发明涉及上述的一种基于ACU-Net网络的MRI多模态图像分割系统和方法，分割网络包括图像浅层与深层特征提取部分、像素标注部分以及活动轮廓约束部分，将图像预处理之后得到的数据集输入网络中，得到病变区域以及核心增强区域；
ACU-Net网络结构改进U-Net网络得到：将VGG16网络中的3个完全连接层和1个逻辑回归层删除，同时增加2个卷积层和18个归一化层，组成9个独立卷积块；
根据所述特征提取与像素标注部分将完整的卷积运算分解为深度卷积与逐点卷积两个部分进行，对所述待处理数据集在二维平面内进行深度卷积操作，对4个输入通道采用不同的卷积核逐通道进行卷积，再将深度卷积的4个输出通过卷积核为1×1的逐点卷积整合得到特征图，并通过残差密集块局部自适应学习前一卷积块与当前卷积块的有效特征信息，从而适应更深层网络，将特征进行融合并联合学习所有局部特征，在U-Net长跳跃连接中引入ResNet网络短跳跃连接方式，将两者结合以减轻网络退化；
轮廓约束部分，将活动轮廓约束放在特征提取与像素标注部分之后，将边界线分割与区域分割结合，考虑预测边界内、外部的情况，针对图像梯度和能量函数对分割边缘进行约束，使得轮廓线朝着分割边缘方向不断逼近；
对所述基于ACU-Net网络的MRI多模态图像分割方法，通过所述消除离群值的HD M (X,Y)豪斯多夫距离作为边缘匹配分割精确度度量指标。
有益效果：
（1）本发明对数据集进行预处理，消除冗余信息的同时最大限度地简化数据、缓和了图像噪声、优化数据集利用率；
（2）本发明利用深度可分离卷积区分映射卷积通道的空间相关性与外观相关性使得感受野不同，减少网络训练所消耗的时间；
（3）本发明添加残差密集块有针对性的稳定深层信息、融合全局特征；
（4）本发明能够较好地克服图像噪声和边缘夹缝，解决多模态图像病理组织高异质性与分辨率不明显问题。
附图说明
图1是本发明的总体框架流程图。
图2是本发明中图像特征提取的示意图。
图3是本发明中ACU-Net网络整体框架图；图中DSconv表示深度可分离卷积层；图中标号为1的箭头连接线表示下采样，标号为2的箭头连接线表示上采样，标号为3的箭头连接线表示长跳跃连接，标号为4的箭头连接线表示活动轮廓约束。
图4是本发明中ACU-Net局部残差密集连接图；图中DSconv表示深度可分离卷积层；图中的实线箭头连接线表示下采样，虚线连接线表示短跳跃连接。
图5是本发明中活动轮廓模型约束过程的示意图。
具体实施方式
下面结合实施例对本发明进一步地详细描述。
本实施例的一种基于ACU-Net的MRI多模态图像分割系统，其包括：图像预处理模块、分割网络、输出模块。其中，图像预处理模块对图像进行预处理并将处理后的数据集输入网络中；分割网络的网络结构将VGG16网络中的3个完全连接层和1个逻辑回归层删除，增加2个卷积层和18个归一化层，组成9个独立卷积块；分割网络包括图像特征提取模块、像素标注模块以及活动轮廓约束模块，将图像预处理之后的数据集输入ACU-Net网络中，得到病变区域以及核心坏死区域，并通过模型的训练和优化获得病变区域的其他部分；输出模块获取异常区域并输出结果。
图像特征提取模块用于将预处理后的数据集进行小尺度特征提取、跨尺度特征提取、抽象特征采样；像素标注模块利用残差密集块长、短跳跃连接结合实现对解码器的像素类别标注，解码器输入的是编码器提供的特征图；活动轮廓约束模块利用图像梯度对分割边缘进行约束，使轮廓线朝着分割边缘方向逼近。
如图1所示的一种基于ACU-Net网络的MRI多模态图像分割方法的总体流程图，主要包括图像预处理部分、特征提取部分、像素标注部分和活动轮廓约束部分。图像预处理部分是为了保证消除冗余信息的同时，最大限度地简化数据、缓和图像噪声、优化数据集利用率。特征提取部分的主要作用是提取出图像中纹理特征、形状大小、位置分布等关键性信息，识别表达性与区分性强的图像局部特征。像素标注部分的主要功能是逐步实现图像特征提取部分获取的特征点像素的标注，区分像素的内容以便实现后续分割。轮廓约束部分的主要工作是根据对区域的逼近获取边缘轮廓线。
该方法能够克服图像噪声和图像分辨率不够明显的缺陷，区分内部对比度低、亮度不均衡区域从而提高医学图像分割精度。各部分具体内容如下：
1、图像预处理
图像数据集主要是通过互联网搜索引擎下载、Python爬虫工具收集获取，由MICCABraTS分割竞赛公开的肿瘤病例MRI图像组成，在建立数据集的同时，对图像进行预处理操作，将三维图像二分位切割为2D图像，并使得所有的图像像素大小呈现为160×160。将图像中不包含病灶的部分抛片，病理组织置于纯黑色背景部分的正中区域，然后接下来各个操作是对图像像素块进行优化。
2、图像特征提取
特征提取部分最主要的作用是为后续区分和联系图像充分提取图像的底层细节特征。如图2所示，ACU-Net将U-Net分割网络中常规卷积操作替换为深度可分离卷积，其可分为深度卷积和逐点卷积两部分，解耦分离学习卷积通道相关性与空间相关性，可以实现高效地提取深层特征，其具体步骤如下：
步骤（1），在二维平面内进行深度卷积操作，每个通道同步独立操作，对4个输入通道采用不同的3×3卷积核逐通道进行卷积，卷积核数依次设置为[32，64，128，256，512]；
步骤（2），将深度卷积的4个输出通过卷积核为1×1的逐点卷积整合得到特征图；
步骤（3），将上述特征图映射到新的通道空间，过程如图2所示。图2中的Concat表示输入深度卷积的4个合并通道，conv3×3表示卷积核大小为3×3的逐通道卷积，Inputchannels表示逐点卷积输入通道，conv1×1表示进行卷积核大小为1×1的逐点卷积。
3、像素标注
像素标注部分主要是逐步实现解码器的像素类别标注，解码器的输入是编码器提供的特征图。密集残差块的作用是将前一个卷积块中获取到的所有有效信息全部传输到下面的每一个卷积块中，其目的是加强实际观测值与拟合值之间差值的关注，随着网络结构的递增，图像特征数也随之呈现出递增的趋势。本发明的ACU-Net分割网络如图3、4所示，图3为ACU-Net网络整体结构示意图，在通道维度上将每个层与前面所有层合并从而增强特征传播能力；图3中DSconv代表深度可分离卷积层，图3中有四种箭头连接线，标号为1的箭头连接线表示下采样，标号为2的箭头连接线表示上采样，标号为3的箭头连接线表示长跳跃连接，标号为4的箭头连接线表示活动轮廓约束。图4为ACU-Net局部残差密集连接图，主要体现ACU-Net网络中残差密集块部分，图4中DSconv代表深度可分离卷积层，图4中的箭头连接线有实线和虚线两种，实线箭头连接线均表示下采样，虚线连接线均表示短跳跃连接。
其包括如下步骤：
a、将多模态图像输入网络使用深度可分离卷积来实现对浅层特征信息的提取；
b、使用两层额外添加卷积层对提取到的图像浅层与深层特征信息进行存储；
c、利用残差密集块中长、短跳跃连接结合的全尺度连接方式将上述存储的特征信息融合到全局特征模块。
4、活动轮廓约束
活动轮廓约束能够准确的使用图像梯度对分割边缘进行检测，将分割过程看作是能量最小化的问题，使用基于偏微分方程的方法将能量函数最小化。如图5所示为本发明中活动轮廓模型约束过程的示意图，沿着图中箭头的方向，从第一排由左至右，最初生成不明显点与短线，逐渐连接成完整轮廓线，再由第二排从右至左，轮廓线逐渐朝着目标边缘方向逼近；其中，图5中每个小图中白色线所示的是约束过程中的轮廓线，图中可以明显看到白色轮廓线朝着目标边缘不断逼近。
首先，利用活动轮廓线对设置感兴趣区域初始位置曲线v(s) = [P(s)，Q(s)]，
Figure 986937DEST_PATH_IMAGE001
，其中P(s)和Q(s)分别表示初始曲线的点在图像中的横向和纵向的坐标位置，s是傅里叶变换形式的边界自变量；其次，控制形变收缩速度和弯曲程度，使约束曲线
Figure 148928DEST_PATH_IMAGE007
不断形变无限吻合于目标轮廓，其中：α(s)是制约轮廓连续性的弹性系数；一阶导数的模
Figure 210425DEST_PATH_IMAGE004
表示的是控制形变曲线收缩的速度；β(s)表示形变曲线向目标轮廓靠近时，限制变换速度的强度系数；二阶导数的模
Figure 494775DEST_PATH_IMAGE005
的作用是控制曲线轮廓的弯曲程度；G σ 是标准差为σ的径向基函数；x表示真实点；y表示预测点；I(x,y)为外部能量值；
Figure 907302DEST_PATH_IMAGE003
控制图像局部特征与形变曲线吻合情况；E为能量泛函，表示能量函数与轮廓之间的关系；最后，通过多次迭代约束能量泛函局部最小值，直至收敛得到优化边界。
本实施例中ACU-Net分割网络的分割精确度计算方法为：
Figure 870054DEST_PATH_IMAGE008
其中：HD M (X,Y)为形状相似性度量；x表示真实点；y表示预测点；X为真实距离；Y为预测距离；d(x,y)为从轮廓线到病变区域的豪斯多夫距离；M表示权重系数，目的是消除离群值的影响。

Claims (10)

1.一种基于ACU-Net的MRI多模态图像分割方法，其特征在于包括以下步骤：
（1）获取MRI多模态图像并进行预处理；
（2）构建ACU-Net分割网络，对预处理得到的数据集进行图像浅层与深层结构特征提取及像素级标注处理；
（3）使用活动轮廓模型检测分割边缘，采用活动轮廓边缘约束，将病变区域分割与核心坏死区域分割相结合，同时对病变区域边界线与核心坏死区边界线进行区分；
（4）训练ACU-Net分割网络，计算网络的分割精确度。
2.根据权利要求1所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：步骤（1）中，图像的预处理包括以下步骤：
（1.1）读取NIFTI格式立体图像，采用二分位数分割法将病例的四个模态从横断位截面进行切片；
（1.2）对背景区域采用零-均值规范化方式进行归一化操作，屏蔽图像中未成像区域；
（1.3）裁剪图像将分辨率从原始值调整为偶数像素值；
（1.4）对图像进行判断，去除没有病灶的切片；
（1.5）输入下一张图像，重复步骤（1.1）至（1.4），直至遍历完数据集中所有图像。
3.根据权利要求1所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：步骤（2）中，ACU-Net分割网络以VGG16网络为基础框架，将网络中的3个完全连接层和1个逻辑回归层删除，同时增加2个卷积层和18个归一化层，构成9个独立卷积块。
4.根据权利要求3所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：所述卷积层为深度可分离卷积，包括以下步骤：
（2.1）在二维平面内进行深度卷积操作，每个通道同步独立操作，对4个输入通道采用不同的3×3卷积核逐通道进行卷积，卷积核数依次设置为[32，64，128，256，512]；
（2.2）将深度卷积的4个输出通过卷积核为1×1的逐点卷积整合得到特征图。
5.根据权利要求1所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：步骤（2）中，解码器根据残差密集块实现对解码器的像素类别标注，解码器输入的是编码器提供的特征图；其包括如下步骤：使用卷积层和激活层实现对表面特征信息的提取，残差密集块局部自适应学习前一卷积块与当前卷积块的有效特征信息，将这些特征进行融合并联合学习全局特征，在U-Net长跳跃连接中加入ResNet短跳跃连接。
6.根据权利要求1所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：步骤（3）中，活动轮廓模型利用图像梯度对分割边缘进行约束，轮廓线朝着分割边缘方向逼近；其包括以下步骤：
（3.1）在网络模型分割出的感兴趣区域设置初始曲线v(s) = [P(s)，Q(s)]，
Figure 778811DEST_PATH_IMAGE001
，其中s是傅里叶变换形式的边界自变量，P(s)和Q(s)分别表示初始曲线的点在图像中的横向和纵向坐标；
（3.2）控制形变收缩速度和弯曲程度，使约束曲线接近目标轮廓，其公式为：
Figure 857625DEST_PATH_IMAGE002
；式中：α(s)是制约轮廓连续性的弹性系数；β(s)是形变曲线向目标轮廓靠近时，限制其变换速度的强度系数；G σ 是标准差σ的径向基函数；x表示真实点；y表示预测点；I(x,y)为外部能量值，
Figure 293286DEST_PATH_IMAGE003
控制图像局部特征与形变曲线吻合情况；一阶导数的模
Figure 64933DEST_PATH_IMAGE004
用于控制形变曲线收缩的速度；二阶导数的模
Figure 15571DEST_PATH_IMAGE005
用于控制曲线轮廓的弯曲程度；E为能量泛函；
（3.3）进行迭代，能量泛函约束至最小值，此时初始曲线收敛，得到优化边界。
7.根据权利要求1所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：步骤（4）中，计算分割精确度的方法为：
Figure 835760DEST_PATH_IMAGE006
；式中：x表示真实点；y表示预测点；X为真实距离；Y为预测距离；HD M (X,Y)为形状相似性度量；d(x,y)表示从轮廓线到病变区域的豪斯多夫距离；M表示权重系数。
8.根据权利要求2所述的基于ACU-Net的MRI多模态图像分割方法，其特征在于：所述裁剪图像的分辨率阈值设置为160×160。
9.一种基于ACU-Net的MRI多模态图像分割系统，其特征在于包括：
图像预处理模块，对图像进行预处理并将处理后的数据集输入网络中；
分割网络，网络结构将VGG16网络中的3个完全连接层和1个逻辑回归层删除，增加2个卷积层和18个归一化层，组成9个独立卷积块；
分割网络包括图像特征提取模块、像素标注模块以及活动轮廓约束模块，将图像预处理之后的数据集输入ACU-Net网络中，得到病变区域以及核心坏死区域，并通过模型的训练和优化获得病变区域的其他部分；
输出模块，获取异常区域并输出结果。
10.根据权利要求9所述的基于ACU-Net的MRI多模态图像分割系统，其特征在于：
图像特征提取模块用于将预处理后的数据集进行小尺度特征提取、跨尺度特征提取、抽象特征采样；
像素标注模块利用残差密集块长、短跳跃连接结合实现对解码器的像素类别标注，解码器输入的是编码器提供的特征图；
活动轮廓约束模块利用图像梯度对分割边缘进行约束，使轮廓线朝着分割边缘方向逼近。
CN202011345892.0A 2020-11-26 2020-11-26 基于ACU-Net的MRI多模态图像分割方法和系统 Pending CN112215844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011345892.0A CN112215844A (zh) 2020-11-26 2020-11-26 基于ACU-Net的MRI多模态图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011345892.0A CN112215844A (zh) 2020-11-26 2020-11-26 基于ACU-Net的MRI多模态图像分割方法和系统

Publications (1)

Publication Number Publication Date
CN112215844A true CN112215844A (zh) 2021-01-12

Family

ID=74068069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011345892.0A Pending CN112215844A (zh) 2020-11-26 2020-11-26 基于ACU-Net的MRI多模态图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN112215844A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767417A (zh) * 2021-01-20 2021-05-07 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN113160142A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种融合先验边界的脑肿瘤分割方法
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN113177952A (zh) * 2021-04-27 2021-07-27 湖南科技大学 基于方向信息的腹部ct图像肝脏区域自动分割方法
CN113313718A (zh) * 2021-05-28 2021-08-27 华南理工大学 一种基于深度学习的急性腰椎骨折mri图像分割系统
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115690556A (zh) * 2022-11-08 2023-02-03 河北北方学院附属第一医院 一种基于多模态影像学特征的图像识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李鸿雁: "聚类分析和活动轮廓模型相融合的图像分割算法", 《吉林大学学报》 *
程兆宁: "基于活动轮廓模型的MRI图像脑肿瘤分割的研究", 《中国优秀硕士学位论文全文数据库》 *
缪正飞: "基于向量场卷积和神经网络的MR肝脏自动分割算法研究", 《中国数字医学》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767417A (zh) * 2021-01-20 2021-05-07 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN112767417B (zh) * 2021-01-20 2022-09-13 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
CN113160240A (zh) * 2021-03-09 2021-07-23 温州医科大学附属眼视光医院 一种循环跳跃的深度学习网络
CN113160142A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种融合先验边界的脑肿瘤分割方法
CN113177952A (zh) * 2021-04-27 2021-07-27 湖南科技大学 基于方向信息的腹部ct图像肝脏区域自动分割方法
CN113313718A (zh) * 2021-05-28 2021-08-27 华南理工大学 一种基于深度学习的急性腰椎骨折mri图像分割系统
CN115409764A (zh) * 2021-05-28 2022-11-29 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN115409764B (zh) * 2021-05-28 2024-01-09 南京博视医疗科技有限公司 一种基于域自适应的多模态眼底血管分割方法及装置
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN113780149B (zh) * 2021-09-07 2023-11-17 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN115690556A (zh) * 2022-11-08 2023-02-03 河北北方学院附属第一医院 一种基于多模态影像学特征的图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN113870258B (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
He et al. HCTNet: A hybrid CNN-transformer network for breast ultrasound image segmentation
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN112070809A (zh) 基于pet/ct双时成像的胰腺癌精准诊断系统
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
Wu et al. Ultrasound image segmentation method for thyroid nodules using ASPP fusion features
CN113066093A (zh) 一种基于子宫内膜超声图像的自动分割分型及厚度测量方法
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN113298830A (zh) 一种基于自监督的急性颅内ich区域图像分割方法
Wu et al. W-Net: A boundary-enhanced segmentation network for stroke lesions
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
Honghan et al. Rms-se-unet: A segmentation method for tumors in breast ultrasound images
An et al. Self-supervised rigid registration for multimodal retinal images
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
Chatterjee et al. A survey on techniques used in medical imaging processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112