CN110992320B - 一种基于双重交错的医学图像分割网络 - Google Patents

一种基于双重交错的医学图像分割网络 Download PDF

Info

Publication number
CN110992320B
CN110992320B CN201911153354.9A CN201911153354A CN110992320B CN 110992320 B CN110992320 B CN 110992320B CN 201911153354 A CN201911153354 A CN 201911153354A CN 110992320 B CN110992320 B CN 110992320B
Authority
CN
China
Prior art keywords
network
features
feature
medical image
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911153354.9A
Other languages
English (en)
Other versions
CN110992320A (zh
Inventor
田文洪
吴智兴
陈伏娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911153354.9A priority Critical patent/CN110992320B/zh
Publication of CN110992320A publication Critical patent/CN110992320A/zh
Application granted granted Critical
Publication of CN110992320B publication Critical patent/CN110992320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于双重交错的网络，包括：处理图片数据集；使用双重交错网络结构，DCNN第一个基础块获取医学图片的特征与原始图像特征融合后作为DCNN第二个基础块的图片输入；每个基础块在上下采样的过程中，采用非対称结构，下采样过程中采用密集连接块，减少下采样的特征损失，并且在每个基础块内部使用criss‑cross方式作为不同层级的隐藏特征，增强网络内部多级语义特征融合，提高网络提取和留存特征信息的能力。在医学图像分割任务中达到了更高的准确率。解决了因为使用Bottom‑up导致丢失小物体和模糊定位边界信息的问题。

Description

一种基于双重交错的医学图像分割网络
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于卷积神经网络和堆叠级联网络的医学图像分割及实现方法。
背景技术
最近几年，基于深度学习的机器视觉的研究方法被大量提出，相比之前使用手工分割图片，极大地提高了实现效率和系统性能。在机器视觉方面，通常使用卷积神经网络包括：Gan，DenseNet，Resnet等提取图片的高维特征，用该特征作为图片的高维表示。在医学图像分割方面，以2015年提出的Unet作为里程碑式分割网络，它能较好的捕获医学图像复杂的纹理特征。医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展，如可视化、三维重建等，而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于深度学习算法在医学图像分割中的应用,医学图像分割技术取得了显著的进展。
机器视觉长期以来都是人工智能的基础性研究领域，是人工智能中重要的研究课题之一，有助于推进人工智能更进一步发展。在实现方面较单一系统更为复杂，上下采样采用非対称式结构，其基本网络内部需使用交措型网络进行多级语义特征融合方法，提高了医学图像的分割精度。
发明内容
本发明要解决的技术问题是：提供一种使用criss-cross同时扩展网络深度的思想，解决传统网络分割丢失信息的问题。
本发明使用案例为较为复杂的医学图像-脑MRI图，包含四个模态：T1,t1c,T2,andFlair。众所周知，脑肿瘤分割是医学图像分析领域的一个重要内容，由于肿瘤个体的形状、纹理等差异较大，从而实现更为困难。其分割效果主要取决于分割网络的关键特征提取能力。
由于图像采集设备的不同，数据的原始分布完全不同。因此，为了平衡数据集，本发明采用z分数归一化操作作为优化数据集的预处理步骤。z分数归一化可以定义如下：
y＝(x-mean(x))/std(x)
本发明将基于脑肿瘤图片的分割视为一个分类问题，对于每一个像素点输出一个数值，本发明使用一个阈值将输出数值小于该阈值的答案视为背景，输出分数大于该阈值的像素点视为肿瘤区域。
本发明使用经过z分数归一化的脑MRI图片作为算法的图片输入特征，本发明使用double criss-cross net作为提取脑肿瘤特征的算法，将第一层之后编码信息与原始信息合并依次输入第二层中，得到最终的分割结果。
传统的医学图像分割网络比如Unet，只提取了图片中物体的特征，且特征信息在冗长且单一传输渠道的网路中容易导致分割算法小物体及边界信息分割准确率不高。本发明将多级特征融合加入网络，在增加网络特征传输和留存能力的同时，也拓展了网络深度。此算法在关于脑肿瘤分割问题上有了较大进步。
本发明的前景是广阔的，本发明提高了脑肿瘤分割的准确率，能够有效提高分割性能，辅助医疗诊断。
附图说明
图1是本发明一种实施例的模型训练示意图
图2是本发明一种实施例的模型使用示意图
图3是本发明的网络模型架构示意图
图4是本发明的特征融合示意图
具体实施方式
本发明的具体实施分为算法模型的训练和算法模型的使用两个部分。下面根据附图和实施例，对本发明的具体实施方式做进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
基于criss-cross的医学图像网络模型架构如图3所示。每一个训练样本包含一张原始脑MRI图片和一个对应已标记好的label，本发明使用z分数归一化操作来平衡数据集。此网络结构分为两个基础块，其内部细节相同，上下采样采用非対称式，下采样中采用密集连接块，增强下采样过程中提取特征的能力。在融合过程中加入了输出当前任务的特征，再将融合特征输入到log_softmax函数中，得到当前任务的logits，并使用Kullback-Leiblerdivergence(相对熵，KL散度)作为损失函数计算损失值，使用RMSProp算法作为模型训练时的优化算法，并使用学习率衰减方法辅助进行训练。
1、本发明使用criss-cross方式构建其基础块内部网络，也就是说加入了相邻节点获取的特征信息实现多级语义特征融合的过程，其中特征融合模块的结构示意图如图4所示：其中左边的图代表每个基础块内部特征融合，特征1是下采样阶段上一层级池化前的特征Fprevious，特征2是下采样阶段本层级池化前的特征Fcurrent，将Fprevious经过Conv降维筛选操作后与Fcurrent特征做一个contact操作，用于减少下采样阶段特征损失，其融合公式如下：
Featurefusion＝Contact(Fcurrent,Conv(Fprevious))
右边的图代表两个基础块之间特征融合，其中一个特征是第一个基础块的输出特征Foneblock，另一个是原始输入图像特征Forigininput，用于补全特征损失，融合公式如下：Featurefusion＝Contact(Foneblock,Forigininput)
将网络basic block 2中最后一级融合之后的特征使用KL散度作为损失函数，衡量预测值p(x)与真实值q(x)之间的偏差，其公式如下：
Figure BDA0002284174220000041
该算法的设计旨在使用改进的特征融合方式和网络捕获和留存特征信息的能力，提高医学图像分割的准确性。在训练时，将原始医学图片和对应的label送入模型中训练即可，训练好的模型便拥有了医学图像分割的能力，即模型针对输入的医学图像可预测分割结果(病灶区域)。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于双重交错网络的医学图像分割方法，其特征在于将脑MRI图片的分割视为一个分类问题，对于每一个像素点输出一个数值，使用一个阈值将输出数值小于该阈值的像素点视为背景，输出数值大于该阈值的像素点视为肿瘤区域，上述基于双重交错网络的医学图像分割方法分为以下几个模块： 特征提取模块负责提取脑MRI图片的特征，上下采样采用非对称的方式，减少下采样阶段的特征损失，另外网络采用双层结构，使用基于双重交错网络的医学图像分割方法第一层模型识别输入图片中的脑肿瘤特征，将提取到的肿瘤的特征和原始图像融合作为第二层模型的输入特征，取代传统的将整张图片输入模型作为输入特征； 多级特征融合模块将深层级复杂的特征与邻级特征融合，考虑多级特征的相关性，在每个基础块网络内部增加criss-cross连接，增加网络信息留存能力，减少信息损失，以此增强网络的鲁棒性，降低下采样过程中微小物体及边缘特征的损失； 肿瘤定位模块使用基于双重交错网络的医学图像分割方法第二层模型中肿瘤的位置信息，基于前两个模块提取的多级语义特征信息，并将其融合得到的特征用作分类，得到最终的分割结果。
2.根据权利要求1所述的方法，其特征在于特征提取模块增强了网络留存信息的能力，与传统的医学图像分割网络相比，微观上在上下采样中，采用非对称形式构建网络，下采样采用密集连接增强下采样阶段特征提取的能力；宏观上采用双重网络，前一基础块为后一基础块提供部分特征信息后一层补全特征。
3.根据权利要求1所述的方法，其特征在于多级特征融合模块，该模块根据层级采用不同尺寸、不同步长卷积核，并将融合后的特征作为下一平行节点的输入，该网络是Unet和DenseNet网络的一种改进网络，在网络内部增加信息传递的桥梁，可以在正向训练期间为后端网络提供丰富的信息，并在将梯度发送回时将梯度消失的风险降到最低。
4.根据权利要求1所述的方法，其特征在于基于双重交错网络的医学图像分割方法中的肿瘤定位模块，得到当前情景下的任务特征，因为在获取肿瘤特征时需要对脑MRI图片进行特征提取，破坏了图片的完整性，物体之间的相对位置信息被忽略了，因此在特征融合过程中，考虑相关性，加入了邻级特征之间的融合，从而有效提高了模型对于肿瘤定位问题的分割准确率。
CN201911153354.9A 2019-11-22 2019-11-22 一种基于双重交错的医学图像分割网络 Active CN110992320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911153354.9A CN110992320B (zh) 2019-11-22 2019-11-22 一种基于双重交错的医学图像分割网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911153354.9A CN110992320B (zh) 2019-11-22 2019-11-22 一种基于双重交错的医学图像分割网络

Publications (2)

Publication Number Publication Date
CN110992320A CN110992320A (zh) 2020-04-10
CN110992320B true CN110992320B (zh) 2023-03-21

Family

ID=70085847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911153354.9A Active CN110992320B (zh) 2019-11-22 2019-11-22 一种基于双重交错的医学图像分割网络

Country Status (1)

Country Link
CN (1) CN110992320B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444923A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 自然场景下图像语义分割方法和装置
CN111815628B (zh) * 2020-08-24 2021-02-19 武汉精测电子集团股份有限公司 显示面板缺陷检测方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN110097550A (zh) * 2019-05-05 2019-08-06 电子科技大学 一种基于深度学习的医学图像分割方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI467516B (zh) * 2011-04-26 2015-01-01 Univ Nat Cheng Kung 色彩特徵擷取方法
SG11201804144UA (en) * 2015-11-20 2018-06-28 Agency Science Tech & Res High-throughput imaging-based methods for predicting cell-type-specific toxicity of xenobiotics with diverse chemical structures
CN107016395B (zh) * 2017-03-18 2021-02-26 复旦大学 稀疏表示的原发性脑部淋巴瘤和胶质母细胞瘤的鉴别系统
CN107220980B (zh) * 2017-05-25 2019-12-03 重庆师范大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108898140A (zh) * 2018-06-08 2018-11-27 天津大学 基于改进的全卷积神经网络的脑肿瘤图像分割算法
CN109447976B (zh) * 2018-11-01 2020-07-07 电子科技大学 一种基于人工智能的医学图像分割方法及系统
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN110097550A (zh) * 2019-05-05 2019-08-06 电子科技大学 一种基于深度学习的医学图像分割方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Amthauer H等.Diagnosis of neuroendocrine tumours by retrospective image fusion: is there a benefit?.2004,第31卷(第03期),342-8. *
D. Packiaraj等.Miniaturized Defected Ground High Isolation Crossovers.2013,第23卷(第07期),347-349. *
Sameena Banu等.Interactive image segmentation by dynamic region merging.2014,1-6. *

Also Published As

Publication number Publication date
CN110992320A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN108319972B (zh) 一种针对图像语义分割的端到端差异网络学习方法
WO2018125580A1 (en) Gland segmentation with deeply-supervised multi-level deconvolution networks
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN111191660A (zh) 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN115272196B (zh) 组织病理图像中病灶区域预测方法
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
Yan et al. A hybrid convolutional and recurrent deep neural network for breast cancer pathological image classification
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN108564582B (zh) 一种基于深度神经网络的mri脑肿瘤图像自动优化方法
CN114004811A (zh) 一种基于多尺度残差编解码网络的图像分割方法及系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Zhou et al. Attention transfer network for nature image matting
Dong et al. Holistic and Deep Feature Pyramids for Saliency Detection.
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
Chen et al. Adaptive fusion network for RGB-D salient object detection
CN114627035A (zh) 一种多聚焦图像融合方法、系统、装置及存储介质
CN114549394A (zh) 一种基于深度学习的肿瘤病灶区域语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant