CN110148145B - 一种融合边界信息的图像目标区提取方法及应用 - Google Patents

一种融合边界信息的图像目标区提取方法及应用 Download PDF

Info

Publication number
CN110148145B
CN110148145B CN201910226802.7A CN201910226802A CN110148145B CN 110148145 B CN110148145 B CN 110148145B CN 201910226802 A CN201910226802 A CN 201910226802A CN 110148145 B CN110148145 B CN 110148145B
Authority
CN
China
Prior art keywords
image
stage
target area
features
brain tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910226802.7A
Other languages
English (en)
Other versions
CN110148145A (zh
Inventor
孔佑勇
周彬
伍家松
杨淳沨
舒华忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910226802.7A priority Critical patent/CN110148145B/zh
Publication of CN110148145A publication Critical patent/CN110148145A/zh
Application granted granted Critical
Publication of CN110148145B publication Critical patent/CN110148145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种融合边界信息的图像目标区提取方法及应用，引入双神经网络先后应用，即采用神经网络RCF模型，以及改进型语义分割网络SegNet，针对目标类型灰度图像中的目标区域图像实现高效提取，其中能够结合局部特征和全局特征，有效克服网络下采样过程中细节特征丢失的问题，因此将设计方案应用于脑组织提取过程中，对于比较难分割的脑组织边界区域，能得到更好的脑组织区域图像提取效果。

Description

一种融合边界信息的图像目标区提取方法及应用
技术领域
本发明涉及一种融合边界信息的图像目标区提取方法，属于图像处理技术领域。
背景技术
核磁共振图像的脑组织提取是将核磁共振脑图像中的脑部组织与非脑组织分离，去除非脑组织，也被称为头骨剥离或全脑分割。脑组织的准确提取是神经图像处理中一个重要的步骤，对于疾病诊断与治疗、认知研究等具有重要意义，在脑磁共振图像分析中，脑组织提取(全脑分割)通常用于测量和可视化大脑的解剖结构，用于分析脑的变化，描绘病理区域，以及用于手术规划和图像引导的干预。
手动提取脑组织是一项繁琐的任务，效率很低并且容易出错，并且脑组织提取的准确性会直接影响后续步骤的表现，因此手动提取脑组织的方法不适用于临床诊断，更不适合大规模的研究。在广泛使用的神经影像分析软件中，有几种算法得到了使用。FSL的BET首先基于局部强度和表面平滑度确定图像的重心，然后在图像的重心处初始化了一个由密铺三角组成的可形变的球面网，这个可形变球面网可以进行扩张，扩张时保持表面的均匀和平滑并逐渐向脑组织的边缘移动。BET处理非常快并且对于参数设置相对不敏感，考虑到此方法的简易，它已经能够提供比较好的结果，但是BET的结果经常在脑干周围的区域包含非脑组织。3dSkullStrip是AFNI软件包的一部分，是BET的改进版本，也使用了扩展球面的方法，包含了为了避开眼睛和脑室而做的修改，并且使用了可形变球面外部的数据指导其扩展的过程，BET只使用了形变球面内部的数据。Robust Brain Extraction(ROBEX) 使用由形状模型约束的三角网，使其与一个基于随机森林的大脑边界分类器的概率输出相适应。由于形状模型对于不可见的部分难以完美适应，ROBEX也使用了通过图切割优化的小的自由变形曲面。目前常用的几种脑组织提取算法在进行脑组织提取时，结合了图像配准、图谱、强度、边缘特征以及水平集或图切割来生成磁共振图像的脑组织掩膜。但大多数的算法都非常依赖配准质量，对磁共振图的几何、方向和特征作出较强的假设，如果特定的关于几何的假设不成立、特征未清晰定义、或者图像配准失败，以上的几种方法被证实会发生严重的错误。
发明内容
本发明所要解决的技术问题是提供一种融合边界信息的图像目标区提取方法，引入双神经网络先后应用，能够针对目标类型灰度图像中的目标区域图像实现高效提取。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种融合边界信息的图像目标区提取方法，用于实现目标类型灰度图像中目标区域图像的提取，包括如下步骤：
步骤A.以预设各样本目标类型灰度图像为输入，各样本目标类型灰度图像中目标区域边缘特征为输出，针对神经网络RCF模型进行训练，获得目标区域边缘特征提取模型，然后进入步骤B；
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C；
步骤C.以预设各样本目标类型灰度图像、以及各样本目标类型灰度图像中目标区域边缘特征为输入，各样本目标类型灰度图像中目标区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得目标区域图像提取模型，然后进入步骤D；
步骤D.应用目标区域边缘特征提取模型，提取获得目标类型灰度图像中的目标区域边缘特征，然后进入步骤E；
步骤E.根据目标类型灰度图像、以及目标类型灰度图像中的目标区域边缘特征，应用目标区域图像提取模型，提取获得目标类型灰度图像中的目标区域图像。
作为本发明的一种优选技术方案：所述神经网络RCF模型为基于图像分类网络VGG16 进行设计；
其中，首先去除图像分类网络VGG16中的全连接层和最后一级池化；
接着，依次经过各个卷积层、由各个卷积层分别提取图像中的图像特征，并分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征进行合并，获得阶段图像合并特征；
然后除第一阶段图像合并特征，分别针对其余各阶段图像合并特征进行上采样更新，使得各阶段图像合并特征尺寸均与输入图像尺寸相同；
最后针对各阶段图像合并特征进行融合、获得融合图像特征，由各阶段图像合并特征、以及融合图像特征构成目标区域边缘特征；
并且针对神经网络RCF模型进行训练过程中，分别针对各阶段图像合并特征，应用sigmoid函数计算所对应的交叉熵损失函数值，以及针对融合图像特征，应用sigmoid函数计算其所对应的交叉熵损失函数值，通过各阶段图像合并特征分别所对应的交叉熵损失函数值，以及融合图像特征所对应的交叉熵损失函数值，作为训练阈值，实现对神经网络RCF模型的训练。
作为本发明的一种优选技术方案：所述神经网络RCF模型中，分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征，按照图像特征彼此相加，并针对相加结果进行1×1卷积方式，实现阶段内各卷积层分别所获图像特征的合并，获得阶段图像合并特征。
作为本发明的一种优选技术方案：所述各个inception模块的结构彼此相同，各个inception模块分别均包括四个分支，各inception模块执行过程中，分支1中顺序执行 1×1卷积操作和归一化操作；分支2中顺序执行1×1卷积操作、3×3卷积操作和归一化操作；分支3中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分支4中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分别获得四个分支的执行结果后，针对四个结果进行合并操作，最后针对合并结果应用ReLU非线性激活函数进行处理。
作为本发明的一种优选技术方案：所述步骤B中，在针对语义分割网络SegNet引入DDSC结构中，针对语义分割网络SegNet中、由各池化层所划分各阶段，分别获得各个下采样阶段所对应的图像特征，在顺序执行各个上采样阶段过程的同时，各个上采样阶段分别融合其所对应下采样阶段的图像特征，实现上采样处理。
与上述相对应，本发明还要解决的技术问题是提供一种基于融合边界信息的图像目标区提取方法的应用，通过双神经网络的先后应用，能够针对脑部磁共振图像中的脑组织区域图像实现高效提取。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于融合边界信息的图像目标区提取方法的应用，用于实现脑部磁共振图像中脑组织区域图像的提取，包括如下步骤：
步骤A.以预设各样本脑部磁共振图像为输入，各样本脑部磁共振图像中脑组织区域边缘特征为输出，针对神经网络RCF模型进行训练，获得脑组织区域边缘特征提取模型，然后进入步骤B；
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C；
步骤C.以预设各样本脑部磁共振图像、以及各样本脑部磁共振图像中脑组织区域边缘特征为输入，各样本脑部磁共振图像中脑组织区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得脑组织区域图像提取模型，然后进入步骤D；
步骤D.应用脑组织区域边缘特征提取模型，提取获得脑部磁共振图像中的脑组织区域边缘特征，然后进入步骤E；
步骤E.根据脑部磁共振图像、以及脑部磁共振图像中的脑组织区域边缘特征，应用脑组织区域图像提取模型，提取获得脑部磁共振图像中的脑组织区域图像。
本发明所述一种融合边界信息的图像目标区提取方法及应用，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计融合边界信息的图像目标区提取方法及应用，引入双神经网络先后应用，即采用神经网络RCF模型，以及改进型语义分割网络SegNet，针对目标类型灰度图像中的目标区域图像实现高效提取，其中能够结合局部特征和全局特征，有效克服网络下采样过程中细节特征丢失的问题，因此将设计方案应用于脑组织提取过程中，对于比较难分割的脑组织边界区域，能得到更好的脑组织区域图像提取效果。
附图说明
图1是本发明设计融合边界信息的图像目标区提取方法应用的流程示意图；
图2是本发明设计融合边界信息的图像目标区提取方法应用中脑部磁共振图像至脑组织区域图像的提取结果示意图；
图3是神经网络RCF模型架构示意图；
图4a是语义分割网络SegNet中所应用inception模块的示意图；
图4b是语义分割网络SegNet架构示意图；
图4c是语义分割网络SegNet引入DDSC结构的示意图；
图5是本发明设计中神经网络RCF模型对应的脑组织区域边缘特征的提取结果示意图；
图6是本发明设计融合边界信息的图像目标区提取方法应用的脑组织区域图像提取结果示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种融合边界信息的图像目标区提取方法，用于实现目标类型灰度图像中目标区域图像的提取，实际应用当中，具体包括如下步骤。
步骤A.以预设各样本目标类型灰度图像为输入，各样本目标类型灰度图像中目标区域边缘特征为输出，针对神经网络RCF模型进行训练，获得目标区域边缘特征提取模型，然后进入步骤B。
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C。
步骤C.以预设各样本目标类型灰度图像、以及各样本目标类型灰度图像中目标区域边缘特征为输入，各样本目标类型灰度图像中目标区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得目标区域图像提取模型，然后进入步骤D。
步骤D.应用目标区域边缘特征提取模型，提取获得目标类型灰度图像中的目标区域边缘特征，然后进入步骤E。
步骤E.根据目标类型灰度图像、以及目标类型灰度图像中的目标区域边缘特征，应用目标区域图像提取模型，提取获得目标类型灰度图像中的目标区域图像。
对于上述所设计的技术方案，其中，如图3所示，神经网络RCF模型为基于图像分类网络VGG16，按如下进行设计。
首先去除图像分类网络VGG16中的全连接层和最后一级池化；
接着，依次经过各个卷积层、由各个卷积层分别提取图像中的图像特征，并分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征进行合并，获得阶段图像合并特征；其中，分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征，按照图像特征彼此相加，并针对相加结果进行1×1卷积方式，实现阶段内各卷积层分别所获图像特征的合并，获得阶段图像合并特征；
然后除第一阶段图像合并特征，分别针对其余各阶段图像合并特征进行上采样更新，使得各阶段图像合并特征尺寸均与输入图像尺寸相同；
最后针对各阶段图像合并特征进行融合、获得融合图像特征，由各阶段图像合并特征、以及融合图像特征构成目标区域边缘特征；
并且针对神经网络RCF模型进行训练过程中，分别针对各阶段图像合并特征，应用sigmoid函数计算所对应的交叉熵损失函数值，以及针对融合图像特征，应用sigmoid函数计算其所对应的交叉熵损失函数值，通过各阶段图像合并特征分别所对应的交叉熵损失函数值，以及融合图像特征所对应的交叉熵损失函数值，作为训练阈值，实现对神经网络RCF模型的训练。
此外，基于图4b所示的语义分割网络SegNet结构，对于语义分割网络SegNet的改进设计中，如图4a所示，各个inception模块的结构彼此相同，各个inception模块分别均包括四个分支，各inception模块执行过程中，分支1中顺序执行1×1卷积操作和归一化操作；分支2中顺序执行1×1卷积操作、3×3卷积操作和归一化操作；分支3中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分支4中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分别获得四个分支的执行结果后，针对四个结果进行合并操作，最后针对合并结果应用ReLU非线性激活函数进行处理。对于inception模块的应用，inception模块是考虑增加网络宽度，在网络的同一层并行使用不同尺寸的卷积核，因此能够在同一层获取多个尺度的特征，然后将不同尺寸的卷积核提取的特征串联。
随着卷积神经网络的层次加深，提取到的特征越来越抽象，很多细节的信息在降采样的过程中丢失了，因此仅仅对最后一层进行上采样获取的分割结果不够精确。在较深的层提取到的特征更加抽象，具有全局性，较浅的层提取的特征更精细，更有局部性，因此在上采样时融合浅层和深层的特征，可以使得网络兼顾图片的局部特征和全局特征，即所述步骤B在实际应用中，如图4c所示，在针对语义分割网络SegNet引入DDSC结构中，针对语义分割网络SegNet中、由各池化层所划分各阶段，分别获得各个下采样阶段所对应的图像特征，在顺序执行各个上采样阶段过程的同时，各个上采样阶段分别融合其所对应下采样阶段的图像特征，实现上采样处理。即实际应用中，各个上采样阶段除了融合其所对应下采样阶段的图像特征，还融合了它之前其它上采样阶段的特征。
基于上述所设计融合边界信息的图像目标区提取方法技术方案，本发明进一步设计了基于融合边界信息的图像目标区提取方法的应用，用于实现脑部磁共振图像中脑组织区域图像的提取，实际应用当中，如图1所示，具体包括如下步骤。
步骤A.以预设各样本脑部磁共振图像为输入，各样本脑部磁共振图像中脑组织区域边缘特征为输出，针对神经网络RCF模型进行训练，获得脑组织区域边缘特征提取模型，然后进入步骤B。
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C。
步骤C.以预设各样本脑部磁共振图像、以及各样本脑部磁共振图像中脑组织区域边缘特征为输入，各样本脑部磁共振图像中脑组织区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得脑组织区域图像提取模型，然后进入步骤D。
步骤D.应用脑组织区域边缘特征提取模型，提取获得脑部磁共振图像中的脑组织区域边缘特征，然后进入步骤E。
步骤E.根据脑部磁共振图像、以及脑部磁共振图像中的脑组织区域边缘特征，应用脑组织区域图像提取模型，提取获得脑部磁共振图像中的脑组织区域图像。
将上述所设计基于融合边界信息的图像目标区提取方法的应用，用于实际应用过程当中，下面以LPBA40数据集数据为例，来验证本发明设计应用对于大脑磁共振图像脑组织提取的实施。
实验条件：现选取一台计算机进行实验，该计算机的配置有NVIDIA GeForce GTX1080 Ti GPU，64位操作系统，编程语言用的是Python(3.5版本)，深度学习框架为TensorFlow。
实验数据为LPBA40数据集的大脑磁共振图像。LPBA40数据集包含40个健康受试者的 T1-Weighted模态的磁共振图像，空间分辨率为0.86×1.5×0.86mm，分割的groundtruth 中有两类像素，0代表该像素属于非脑组织，1表示像素属于脑组织。LPBA40数据集中的 MRI图像对应的语义分割标签如图2所示。按照上述的设计方法训练神经网络RCF模型和语义分割网络SegNet，再使用训练完成的两个网络模型处理脑部磁共振图像，得到最终的分割结果，完整的实施流程如图1所示，如图5所示是神经网络RCF模型从磁共振图像中提取到的脑组织轮廓，如图6所示是执行整个流程后提取脑组织的结果，其中图6种左侧为数据集中的MRI图像，中间是对于该图像应用本方法预测的结果，右边是数据集提供的真实结果。
为了检验本发明对脑部磁共振图像的分割精度，采用Dice系数作为评价指标：
Dice＝2TP/(2TP+FP+FN)
其中，TP代表本发明分割出的脑组织区域与专家手工分割模板的重叠区域，FP代表本发明分割出的脑组织但不属于专家手工分割模板的区域，FN表示在专家手工分割模板中为脑组织但本发明没有分割出来的区域。在LPBA40和OASIS数据集上，本发明方法与其它分割方法对应Dice指标，如下表1所示。其中，LPBA40数据集包含40个健康受试者的 T1-Weighted模态的磁共振图像，空间分辨率为0.86×1.5×0.86mm。
LPBA40数据集来自LONI Probabilistic Brain Atlas Project，是一个由Laboratory of Neuro Imaging构建的额人类大脑图谱，具体参见http://neuro.imm.dtu.dk/wiki/LPBA40。
OASIS包含了77个空间分辨率为1×1×1mm的T1-Weighted模态的磁共振图像，这些图像分别来自健康的受试者和患有阿尔兹海默症的受试者，OASIS数据集来自OpenAccess Series of Imaging Studies，是一个旨在让科学界免费获得大脑神经成像数据集的项目。通过编译和自由分发神经成像数据集，促进未来在基础和临床神经科学方面的发现，具体参见http://www.oasis-brains.org/。
Dice系数,即根据Lee Raymond Dice命名，是一种集合相似度度量函数，通常用于计算两个样本的相似度。这里用来度量本方法中的神经网络提取的脑组织区域与真实结果之间的相似程度。
OASIS LPBA40
Method Dice Dice
BET 93.44％ 94.57％
ROBEX 95.33％ 95.40％
Auto-Net 97.62％ 97.73％
PCNN 96.96％ 95.02％
本发明方法 98.15％ 98.09％
基于表1所示，证明本发明设计方法有很好的脑组织提取效果。
上述技术方案所设计融合边界信息的图像目标区提取方法及应用，引入双神经网络先后应用，即采用神经网络RCF模型，以及改进型语义分割网络SegNet，针对目标类型灰度图像中的目标区域图像实现高效提取，其中能够结合局部特征和全局特征，有效克服网络下采样过程中细节特征丢失的问题，因此将设计方案应用于脑组织提取过程中，对于比较难分割的脑组织边界区域，能得到更好的脑组织区域图像提取效果。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种融合边界信息的图像目标区提取方法的应用，其特征在于：图像目标区提取方法用于实现目标类型灰度图像中目标区域图像的提取，包括如下步骤：
步骤A.以预设各样本目标类型灰度图像为输入，各样本目标类型灰度图像中目标区域边缘特征为输出，针对神经网络RCF模型进行训练，获得目标区域边缘特征提取模型，然后进入步骤B；
其中，神经网络RCF模型为基于图像分类网络VGG16进行设计；其中，首先去除图像分类网络VGG16中的全连接层和最后一级池化；接着，依次经过各个卷积层、由各个卷积层分别提取图像中的图像特征，并分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征进行合并，获得阶段图像合并特征；然后除第一阶段图像合并特征，分别针对其余各阶段图像合并特征进行上采样更新，使得各阶段图像合并特征尺寸均与输入图像尺寸相同；最后针对各阶段图像合并特征进行融合、获得融合图像特征，由各阶段图像合并特征、以及融合图像特征构成目标区域边缘特征；并且针对神经网络RCF模型进行训练过程中，分别针对各阶段图像合并特征，应用sigmoid函数计算所对应的交叉熵损失函数值，以及针对融合图像特征，应用sigmoid函数计算其所对应的交叉熵损失函数值，通过各阶段图像合并特征分别所对应的交叉熵损失函数值，以及融合图像特征所对应的交叉熵损失函数值，作为训练阈值，实现对神经网络RCF模型的训练；
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C；
其中，各个inception模块的结构彼此相同，各个inception模块分别均包括四个分支，各inception模块执行过程中，分支1中顺序执行1×1卷积操作和归一化操作；分支2中顺序执行1×1卷积操作、3×3卷积操作和归一化操作；分支3中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分支4中顺序执行1×1卷积操作、3×3卷积操作、3×3卷积操作和归一化操作；分别获得四个分支的执行结果后，针对四个结果进行合并操作，最后针对合并结果应用ReLU非线性激活函数进行处理；
步骤C.以预设各样本目标类型灰度图像、以及各样本目标类型灰度图像中目标区域边缘特征为输入，各样本目标类型灰度图像中目标区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得目标区域图像提取模型，然后进入步骤D；
步骤D.应用目标区域边缘特征提取模型，提取获得目标类型灰度图像中的目标区域边缘特征，然后进入步骤E；
步骤E.根据目标类型灰度图像、以及目标类型灰度图像中的目标区域边缘特征，应用目标区域图像提取模型，提取获得目标类型灰度图像中的目标区域图像；
图像目标区提取方法的应用，用于实现脑部磁共振图像中脑组织区域图像的提取，其特征在于，包括如下步骤：
步骤A.以预设各样本脑部磁共振图像为输入，各样本脑部磁共振图像中脑组织区域边缘特征为输出，针对神经网络RCF模型进行训练，获得脑组织区域边缘特征提取模型，然后进入步骤B；
步骤B.针对语义分割网络SegNet中、由各池化层所划分各阶段内连续的3个卷积层，分别替换成inception模块；并针对语义分割网络SegNet引入DDSC结构，在依次经过五阶段下采样、五阶段上采样后，经过分类层应用softmax函数进行输出，由此更新获得待训练语义分割网络SegNet，然后进入步骤C；
步骤C.以预设各样本脑部磁共振图像、以及各样本脑部磁共振图像中脑组织区域边缘特征为输入，各样本脑部磁共振图像中脑组织区域图像为输出，针对待训练语义分割网络SegNet进行训练，获得脑组织区域图像提取模型，然后进入步骤D；
步骤D.应用脑组织区域边缘特征提取模型，提取获得脑部磁共振图像中的脑组织区域边缘特征，然后进入步骤E；
步骤E.根据脑部磁共振图像、以及脑部磁共振图像中的脑组织区域边缘特征，应用脑组织区域图像提取模型，提取获得脑部磁共振图像中的脑组织区域图像。
2.根据权利要求1所述一种融合边界信息的图像目标区提取方法的应用，其特征在于：所述神经网络RCF模型中，分别针对由各池化层所划分的各阶段，将阶段内由各卷积层分别所获的图像特征，按照图像特征彼此相加，并针对相加结果进行1×1卷积方式，实现阶段内各卷积层分别所获图像特征的合并，获得阶段图像合并特征。
3.根据权利要求1所述一种融合边界信息的图像目标区提取方法的应用，其特征在于：所述步骤B中，在针对语义分割网络SegNet引入DDSC结构中，针对语义分割网络SegNet中、由各池化层所划分各阶段，分别获得各个下采样阶段所对应的图像特征，在顺序执行各个上采样阶段过程的同时，各个上采样阶段分别融合其所对应下采样阶段的图像特征，实现上采样处理。
CN201910226802.7A 2019-03-25 2019-03-25 一种融合边界信息的图像目标区提取方法及应用 Active CN110148145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910226802.7A CN110148145B (zh) 2019-03-25 2019-03-25 一种融合边界信息的图像目标区提取方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910226802.7A CN110148145B (zh) 2019-03-25 2019-03-25 一种融合边界信息的图像目标区提取方法及应用

Publications (2)

Publication Number Publication Date
CN110148145A CN110148145A (zh) 2019-08-20
CN110148145B true CN110148145B (zh) 2023-10-10

Family

ID=67588895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910226802.7A Active CN110148145B (zh) 2019-03-25 2019-03-25 一种融合边界信息的图像目标区提取方法及应用

Country Status (1)

Country Link
CN (1) CN110148145B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783514A (zh) * 2019-11-18 2020-10-16 北京京东尚科信息技术有限公司 面部解析方法、装置及计算机可读存储介质
CN110992374B (zh) * 2019-11-28 2023-09-05 杭州小影创新科技股份有限公司 一种基于深度学习的头发精细化分割方法及系统
CN110992285B (zh) * 2019-11-30 2022-05-20 温州大学 一种基于分层神经网络的图像去雾方法
CN111161279B (zh) * 2019-12-12 2023-05-26 中国科学院深圳先进技术研究院 医学图像分割方法、装置及服务器
CN111292317B (zh) * 2020-03-11 2022-06-07 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN114022960B (zh) * 2022-01-05 2022-06-14 阿里巴巴达摩院(杭州)科技有限公司 模型训练和行为识别方法、装置、电子设备以及存储介质
CN115100123B (zh) * 2022-06-10 2024-08-09 北京理工大学 一种结合UNet和主动轮廓模型的脑部医学图像提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537292B (zh) * 2018-04-10 2020-07-31 上海白泽网络科技有限公司 语义分割网络训练方法、图像语义分割方法及装置

Also Published As

Publication number Publication date
CN110148145A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110148145B (zh) 一种融合边界信息的图像目标区提取方法及应用
Cheng et al. CNNs based multi-modality classification for AD diagnosis
Swati et al. Brain tumor classification for MR images using transfer learning and fine-tuning
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
Cao et al. Multi-task neural networks for joint hippocampus segmentation and clinical score regression
Kshatri et al. Convolutional neural network in medical image analysis: a review
Havaei et al. Deep learning trends for focal brain pathology segmentation in MRI
CN105574859B (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
Bas et al. Principal curves as skeletons of tubular objects: locally characterizing the structures of axons
Lu et al. A 3D convolutional neural network for volumetric image semantic segmentation
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Lameski et al. Skin lesion segmentation with deep learning
CN112215291A (zh) 级联神经网络下医学图像特征提取和分类方法
Tursynova et al. 3D U-Net for brain stroke lesion segmentation on ISLES 2018 dataset
Liu et al. DeepBundle: fiber bundle parcellation with graph convolution neural networks
Tarasiewicz et al. Lightweight U-Nets for brain tumor segmentation
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Li et al. Automatic brain tumor segmentation from MR images via a multimodal sparse coding based probabilistic model
Özbay et al. Brain tumor detection with mRMR-based multimodal fusion of deep learning from MR images using Grad-CAM
Zhai et al. An improved full convolutional network combined with conditional random fields for brain MR image segmentation algorithm and its 3D visualization analysis
Kamboj et al. Deep leaming approaches for brain tumor segmentation: a review
Banerjee et al. A CADe system for gliomas in brain MRI using convolutional neural networks
Yi et al. CAS: Breast cancer diagnosis framework based on lesion region recognition in ultrasound images
Kumaraswamy et al. Automatic prostate segmentation of magnetic resonance imaging using Res-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant