CN112184748A - 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 - Google Patents
可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 Download PDFInfo
- Publication number
- CN112184748A CN112184748A CN202011058875.9A CN202011058875A CN112184748A CN 112184748 A CN112184748 A CN 112184748A CN 202011058875 A CN202011058875 A CN 202011058875A CN 112184748 A CN112184748 A CN 112184748A
- Authority
- CN
- China
- Prior art keywords
- liver
- feature
- image
- module
- deformable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 210000004185 liver Anatomy 0.000 title claims abstract description 83
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 73
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000011176 pooling Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 230000003187 abdominal effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Abstract
本发明公开了一种可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法，能够精确地确定肝脏以及肝脏肿瘤的轮廓位置，实现更为精准地肝脏和肝脏肿瘤分割，具有广阔地应用前景，本发明的网络模型利用可变形卷积来增强传统编码器的特征表示能力，帮助其学习具有自适应空间结构信息的卷积核，排除肝脏肿瘤位置大小不同的干扰；利用提取多尺度上下文信息的Ladder空间金字塔池化模块编码图像中的全局特征信息，进而更加精确地确定肝脏以及肝脏肿瘤的轮廓位置，实现更为精准的肝脏和肝脏肿瘤分割，具有广阔的应用前景。
Description
技术领域
本发明属于图像处理技术及模式识别领域，具体涉及可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法。
背景技术
当前原发性肝癌已成为全世界范围内最常见且致死率最高的几种癌症之一，严重威胁着人类的生命健康。对腹部CT图像进行准确的肝脏和肝脏肿瘤分割对于辅助医生诊断、提升治疗成功率和减轻患者伤害有着重要的价值。然而CT图像通常具有噪声大、对比度低的特点，这使得图像中肝脏和肝脏肿瘤与其他组织的边界灰度差异性较小，并且肝脏肿瘤的形状是高度变化的，难以直观划定，因此肝脏和肝脏肿瘤的分割比较困难；除此之外，对腹部CT图像进行逐切片手工标注不仅过程繁琐、效率低下，而且极易受到主观因素的影响，导致其分割精度有限。因此，精准实现肝脏和肝脏肿瘤分割的半自动或全自动方法一直是医学图像分析领域中的重要研究目标之一。目前，计算机视觉结合医学影像研究已成为智能医疗领域热点。其中，基于深度学习的肝脏及肝脏肿瘤分割技术可以获取肝脏以及肝脏肿瘤的大小以及几何形状等信息，从而辅助医生的初期诊断和治疗。
在深度学习技术出现之前，肝脏和肝脏肿瘤分割通常是半自动的，它们主要依靠基于模型驱动的图像分割算法，例如区域增长、活动轮廓模型、图形剪切和形状统计模型等。这些方法可以大致分为三类：基于像素的方法、基于图的方法和基于轮廓的方法。第一种方法包括阈值化和区域合并，由于采用了低级特征和有限的模型表示能力，它们只能实现较低的肝脏和肝脏肿瘤分割精度。基于图的方法比基于像素的方法具有明显的优势，因为它们采用最大流量/最小割算法来找到最小成本的封闭集。这种半自动方法可以通过简单地标记前景和背景来实现肝脏分割，并且它们不需要迭代操作。但是，这些分割结果很容易受到标记结果的影响，并且图切算法要求高分辨率图像具有较高的计算成本。因此，研究人员经常采用图割和其他算法(例如分水岭、形状约束和多尺度配准等)的组合来提高肝脏和肝脏肿瘤的分割精度和计算效率。基于轮廓的肝脏分割或肝脏肿瘤分割可以利用曲线或形状演变提供更好的分割结果。水平集是其中较主流的算法之一，因为它能利用能量优化将给定的曲线演化为感兴趣对象的边界，为肝脏或肝脏肿瘤分割提供有效特征信息。
相比于传统肝脏分割方法，深度学习方法能够充分利用大量训练样本的数据多样性，使得肝脏及肝脏肿瘤分割结果优于传统方法。全卷积神经网络(Fully ConvolutionalNetworks,FCN)是一种经典的端到端深度学习网络，该网络通常采用多级编码器-解码器结构，并且编码器和解码器通常由大量标准卷积层与反卷积层组成。Ronneberger等人提出编码器和解码器完全对称的U-Net获得了较好的分割结果，但是固定几何形状的卷积通常会无法与肝脏和不规则的肿瘤相匹配，不能有效的提取到语义特征。Seo等人在编码与解码器之间的跳跃连接中加入卷积和激活操作，以增强网络对肝脏及肝脏肿瘤的检测能力，进而获得较好的分割结果，但该分割方法无法有效利用图像空间上下文信息，且无法对肝脏以及肝脏肿瘤的全局特征信息进行提取，因此分割精度较差。Christ等人采用级联的U-net模型实现肝脏以及肝脏肿瘤分割，该方法能得到较好的肝脏肿瘤分割效果，但是分割边缘不够精细，平滑度较差。
发明内容
为了解决现有技术中的问题，本发明提供了一种可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法，能够精确地确定肝脏以及肝脏肿瘤的轮廓位置，实现更为精准地肝脏和肝脏肿瘤分割，具有广阔地应用前景。
为了实现以上目的，本发明一方面提供了一种可变形的上下文编码网络模型，采用U型编解码结构，包括特征编码器模块、Ladder-ASPP模块和特征解码器模块，所述Ladder-ASPP模块在所述特征编码器模块和所述特征解码器模块的级联处，所述特征编码器模块采用残差连接的可变形卷积块提取输入图像的深层语义特征，获取原始特征图并将原始特征图输入所述Ladder-ASPP模块；所述Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，所述Ladder-ASPP模块通过密集连接的不同扩张率的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，所述Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给所述特征解码器模块，所述特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自输入图像的特征和转置卷积块，恢复出分割结果图。
进一步地，还包括注意力模块，所述注意力模块对分割结果图的目标区域信息和边缘细节信息进行平滑处理。
进一步地，所述网络模型采用CT图像和金标准作为输入，设定模型运行参数进行训练直至网络收敛。
进一步地，所述网络模型的训练中，设定模型运行参数包括设定学习率η＝1×10-3和设定可变形卷积块的偏移层的学习率ηd＝1×10-5，并使用Adam梯度下降来优化网络模型。
进一步地，所述Ladder-ASPP模块包括密集连接的扩张率分别为1、2、5和7的3×3卷积。
本发明另一方面提供了一种采用上述的可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，包括以下步骤：
1)预处理：将肝脏的CT图像设置至设定的对比度，并对CT图像进行归一化处理；
2)将预处理后的CT图像输入所述可变形的上下文编码网络模型，所述特征编码器模块采用残差连接的可变形卷积块提取CT图像的深层语义特征，获取原始特征图并将原始特征图输入所述Ladder-ASPP模块；所述Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，所述Ladder-ASPP模块通过密集连接的不同扩张率的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，所述Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给所述特征解码器模块，所述特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自CT图像的特征和转置卷积块，恢复出初步分割结果图；
3)对初步分割结果图进行自适应形态学重建优化，即得到肝脏以及肝脏肿瘤的最终分割结果图。
进一步地，所述步骤1)中预处理采用W/L调窗算法将肝脏的CT图像进行窗宽窗位设置，以设定对比度。
进一步地，所述W/L调窗算法包括以下步骤：
a)采用下式将CT图像的DICOM转为HU：
HU＝D*RS+RI
其中，D为CT图像的DIOCM值，设置RS值为1，RI值为-1024；
b)采用下式计算映射区间最小值(min)和最大值(max)：
min＝(2*WC-WW)/2.0
max＝(2*WC+WW)/2.0
其中，WW为窗宽，取400hu；WC为窗位，取100hu；
c)采用下式将HU映射到灰度区间[0，255]：
其中，g为调窗后的输出图像。
进一步地，所述归一化处理包括将CT图像的灰度像素归一化至[-200，250]范围内，并导出为图片，分辨率大小为512×512。
进一步地，所述步骤3)中自适应形态学重建的结构元素SE使用圆形，半径r为：
r＝30×round(R/(H×W))+1
其中，R表示初步分割结果图中最大连接分量的面积，H和W分别表示CT图像的高度和宽度。
与现有技术相比，本发明提出的网络模型(DefEnCe-Net)采用了全新的特征提取层，利用可变形卷积通过学习空间偏移量来确定图像中的采样位置，并且采用残差设计来构造特征编码器能加速神经网络收敛。而且，DefEnCe-Net在保留高级特征的同时，可以更有效地提取空间上下文信息。
本发明提出的网络模型(DefEnCe-Net)设计了一个全新的语义特征融合层Ladder-ASPP，该模型通过在编解码器级联处引入Ladder-ASPP模块，实现在多个尺度上捕捉目标区域的信息；同时该模型采取了注意力模块，兼顾了目标区域信息和边缘细节信息，使分割结果的边界更平滑，分割精度更准确。
本发明提出将可变形卷积应用到肝脏及肝脏肿瘤分割的自动化分割网络中，增强网络的特征表示能力，帮助网络学习具有自适应空间结构信息的卷积核，并且能够对存在大幅形变的肝脏肿瘤进行灵活有效地建模，从而实现肝脏及肝脏肿瘤的高精度分割。除此之外，本发明还设计了可以使用多个有效的感受野检测不同大小对象的Ladder-ASPP模块，以更好的进行肝脏和肝脏肿瘤分割。本发明解决了腹部CT中肝脏和肝脏肿瘤具有较高的复杂性和形状差异性，与周围相邻器官间的边界难以区分，传统编解码网络中使用固定几何结构的卷积核提取特征，这与CT影像中不规则形状的肝脏和肝脏肿瘤无法对应，并且池化和扩张卷积操作容易引起图像空间上下文信息的丢失，因此难以实现肝脏和肝脏肿瘤的自动化精准分割的问题，本发明提出的网络模型能有效解决肝脏以及肝脏肿瘤分割难题，具有广阔应用前景。
附图说明
图1是本发明的方法流程图；
图2是本发明的DefEnCe-Net网络模型的结构示意图；
图3是本发明的Ladder-ASPP模块的结构示意图；
图4是可变形卷积与标准卷积在肝脏自动分割中特征采样的比较图；
图5是U-Net网络采取可变形卷积与标准卷积分别生成的特征图的比较图；
图6是U-Net网络是否采取Ladder-ASPP模块产生的分割结果与金标准结果做差的结果比较图；
图7是使用不同方法对肝脏以及肝脏肿瘤分割边界的比较图；
图8是分别利用不同的肝脏以及肝脏肿瘤分割方法对公开数据集LITS进行肝脏肿瘤分割得到的视觉效果比较图；
图9是使用自适应形态学重建的方法对肝脏肿瘤分割图的优化结果图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明作进一步地解释说明，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
腹部CT中肝脏和肝脏肿瘤具有较高的复杂性和形状差异性，与周围相邻器官间的边界难以区分，传统编解码网络中使用固定几何结构的卷积核提取特征，这与CT影像中不规则形状的肝脏和肝脏肿瘤无法对应，并且池化和扩张卷积操作容易引起图像空间上下文信息的丢失，因此难以实现肝脏和肝脏肿瘤的自动化精准分割。
因此，本发明实施例提供了一种可变形的上下文编码网络模型(DefEnCe-Net)，涉及深度学习、图像分割领域的理论知识。本发明能较好地应用于腹部CT中肝脏以及肝脏肿瘤的自动分割，解决了几何结构固定的标准卷积以及传统编解码网络在分割腹部CT影像中肝脏以及肝脏肿瘤边界较模糊的影像数据时容易错失位置信息，导致分割精度低的问题，为肝脏及肝脏肿瘤的自动分割任务提供了新的研究思路和技术手段。当然，本发明实施例的DefEnCe-Net模型还可以应用于其他需要高精度分割的图像处理中，并不限于肝脏及肝脏肿瘤的分割处理。
具体地，本发明实施例的网络模型采用U型编解码结构，包括特征编码器模块、Ladder-ASPP模块和特征解码器模块，Ladder-ASPP模块在特征编码器模块和特征解码器模块的级联处，特征编码器模块采用残差连接的可变形卷积块提取输入图像的深层语义特征，获取原始特征图并将原始特征图输入Ladder-ASPP模块；所述Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，Ladder-ASPP模块通过密集连接的不同扩张率的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给特征解码器模块，特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自输入图像的特征和转置卷积块，恢复出分割结果图。
优选地，本发明实施例还包括注意力模块，注意力模块对分割结果图的目标区域信息和边缘细节信息进行平滑处理。
优选地，本发明实施例的网络模型采用CT图像和金标准作为输入，设定模型运行参数进行训练直至网络收敛。网络模型的训练中，设定模型运行参数包括设定学习率η＝1×10-3和设定可变形卷积块的偏移层的学习率ηd＝1×10-5，并使用Adam梯度下降来优化网络模型。
优选地，Ladder-ASPP模块包括密集连接的扩张率分别为1、2、5和7的3×3卷积。
本发明实施例还提供了一种采用上述的可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，包括：(1)利用调窗算法增强腹部的CT图像的对比度；(2)利用可变形上下文编码网络(DefEnCe-Net)模型分割腹部的CT图像，得到肝脏及肝脏肿瘤的初步分割结果；(3)利用自适应形态学重建的算法对初步分割结果进行处理，优化肝脏和肝脏肿瘤的分割结果。本发明首先利用可变形卷积来增强传统编码器的特征表示能力，帮助其学习具有自适应空间结构信息的卷积核；其次，本发明设计了一个用于提取多尺度上下文信息的Ladder空间金字塔池化模块，用于编码CT图像中的全局特征信息。实验结果证明本发明对于腹部CT图像中的肝脏及肝脏肿瘤具有精准的分割性能，可有效提升智能医疗水平。
具体地，参见图1，本发明实施例包括以下步骤：
1)预处理：将肝脏的CT图像设置至设定的对比度，并对CT图像进行归一化处理；优选地，首选应用Window-Leveling(W/L)调窗算法将肝脏的CT图像进行窗宽窗位设置，以至合适的对比度；然后将CT图像的灰度像素归一化至[-200，250]范围内；
W/L调窗算法具体包括：
a)采用下式将CT图像的DICOM转为HU：
HU＝D*RS+RI
其中，D为CT图像的DIOCM值，设置RS值为1，RI值为-1024；
b)采用下式计算映射区间最小值(min)和最大值(max)：
min＝(2*WC-WW)/2.0
max＝(2*WC+WW)/2.0
其中，WW为窗宽，取400hu；WC为窗位，取100hu；
c)采用下式将HU映射到灰度区间[0，255]：
其中，g为调窗后的输出图像。
归一化处理具体包括：将CT图像的灰度像素归一化至[-200，250]范围内，并导出为图片，分辨率大小为512×512。
2)参见图2和图3，将预处理后的CT图像输入可变形的上下文编码网络模型，特征编码器模块采用残差连接的可变形卷积块提取CT图像的深层语义特征，获取原始特征图并将原始特征图输入所述Ladder-ASPP模块；Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，Ladder-ASPP模块通过密集连接的扩张率分别为1、2、5、7的的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给特征解码器模块，特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自CT图像的特征和转置卷积块，恢复出初步分割结果图；
本发明在U型编解码结构的网络结构中，特征编码器采用残差连接的可变形卷积，在特征编码器提取到深层语义特征后，经过设计的Ladder-ASPP模块，能在多个尺度上捕捉目标区域的信息，同时采取了注意力模块，兼顾了目标区域和边缘细节，然后再经过特征解码器恢复出自动分割结果图，DefEnCe-Net模型结构如图2所示，Ladder-ASPP模型结构如图3所示。
3)对初步分割结果图进行自适应形态学重建优化，即得到肝脏以及肝脏肿瘤的最终分割结果图。
自适应形态学重建的结构元素SE使用圆形，半径r为：
r＝30×round(R/(H×W))+1
其中，R表示初步分割结果图中最大连接分量的面积，H和W分别表示CT图像的高度和宽度。
本发明利用可变形的上下文编码网络模型，该网络模型旨在自动精准的分割出肝脏和肝脏肿瘤区域。与现有的肝脏和肝脏肿瘤自动分割方法相比，本发明利用可变形卷积帮助网络学习具有自适应空间结构化信息的卷积内核，在一定程度上排除肝脏肿瘤位置大小不同的干扰，设计的Ladder空间金字塔模块可以帮助网络学习到CT图像中更多的上下文信息，进而更加精确的确定肝脏以及肝脏肿瘤的轮廓位置，实现更为精准的肝脏和肝脏肿瘤分割，具有广阔的应用前景。
为了测试本发明用于分割肝脏及肝脏肿瘤影像的准确性和优越性，通过以下实验进一步说明。
硬件实验平台：CPU为Intel Core i9-9900X 10，3.5GHz，GPU为NVIDIA GeForceRTX 2080Ti，显存为11GB；软件平台：PyTorch。
实验采用LITS公开数据集中的90例影像数据进行网络模型的训练，10例数据作为验证集，30例数据作为测试集。
本发明通过计算以下几个指标参数来评估算法性能，分别是：
ASD＝mean({Bpred,Bgt})
RMSD＝max({Bpred,Bgt})
其中，Dice表示集合相似度；RVD表示相对体积差；VOE表示体积重叠误差；ASD表示平均对称表面距离；RMSD表示最大对称表面距离，RMSE表示肝脏的肿瘤负担；Vseg代表算法分割结果；Vgt代表金标准结果；Bpred表示预测边界；Bgt表示金标准边界。dice score(DICE)，volumetric overlap error(VOE),relative volume difference(RVD),averagesymmetric surface distance(ASD)and root mean square symmetric surfacedistance(RMSD)，root mean square error(RMSE)。
首先通过消融实验验证本发明提出的DefEnCe-Net中设计的两个核心模块可变形卷积以及Ladder-ASPP的有效性，图4是特征编码器采取可变形卷积与标准卷积在肝脏自动分割中特征采样的比较，从图4中可以看出固定几何结构的常规卷积核与CT影像中不规则形状的肝脏和肝脏肿瘤无法对应，而可变形卷积通过学习空间偏移量来确定图像中的采样位置，可以较好的提取分割目标的特征。图5是U-Net网络采取可变形卷积与标准卷积分别生成的特征图的比较，从图5中可以看出加入了残差连接的可变形卷积(RDC)的U-Net网络提供的特征图中包含了较少与肝脏无关的信息，只使用U-Net网络提供的特征图包含了更多的假肝区域。在图6中展示了U-Net网络是否采取Ladder-ASPP模块产生的分割结果与金标准结果做差的结果，泛白色部分越少表明差异越小，上面一行是U-Net网络产生的结果，下面一行是U-Net+Ladder-ASPP网络产生的分割结果，可以看出加入了Ladder-ASPP模块的网络分割的结果与金标准结果差异更小。以上两个实验，证明了本发明提出的两个模块的实用性。
为了整体验证本发明提出的DefEnCe-Net在肝脏以及肝脏肿瘤中的作用，我们使用本发明提出的DefEnCe-Net与其他用于肝脏以及肝脏肿瘤分割的U-Net和CE-Net的分割结果做了对比，图7展示了不同分割网络针对肝脏以及肝脏肿瘤分割边缘的比较，1号边界表示金标准结果，2号边界表示本发明提出的DefEnCe-Net得到的结果，3号边界表示CE-Net得到的结果，4号边界表示U-Net网络得到的结果，可以看出本发明提出的DefEnCe-Net的分割结果边缘与金标准最为接近。图8显示了不同方法的分割结果比较，从2D网络U-Net、U-Net++与CE-Net的分割结果来看，在第一列，U-Net与U-Net++均没有识别出肿瘤，而CE-Net识别出来肝脏肿瘤；在第二列，U-Net++的分割小肿瘤的效果比U-Net和CE-Net差；在第三列，U-Net与CE-Net识别到了假肝区域，而U-Net++由于其较小的模型对应较高的泛化能力，并且有着更密集的特征表示与传递，因此更有利于大目标的识别。从3D网络、3D U-Net与V-Net的分割结果来看，由于3D网络利用切片之间的信息，因此可以提供比2D网络更好的肝脏和肝脏肿瘤的分割结果。在第一列与第二列，可以看出3D网络识别到的肿瘤边界比2D网络得到的结果更清晰。V-Net由于采用了更深的网络，并且使用了残差连接的特征提取块，第一列与第二列得到的肿瘤分割结果比3D U-Net得到的分割结果的边缘更加清晰准确。在第三列，相比于2D网络、U-Net与CE-Net，没有获得过度识别的区域，并且在第四列得到的肝脏边缘有着更高的准确率。本发明提出的DefEnCe-Net相比于上述2D与3D网络，在特征提取阶段采用了可变形卷积，专注于真实的肝脏区域，抑制了周围器官的影响，因此在第三列与第四列，没有获得假肝区域并且提高了边界精度；除此之外，本发明设计了多尺度密集连接的特征融合模块Ladder-ASPP模块，有效获取了上下文信息，因此第一列与第二列都准确的获得了肝脏和肝脏肿瘤的区域。综上所述，本文提出的DefEnCe-Net能够更好的实现特征编码与上下文信息的提取，能够提高肝脏与肝脏肿瘤分割的精度。
图9中上面一行是DefEnCe-Net网络产生的结果，下面一行是经过自适应重建后优化的分割结果，从图9中展示了本发明中采取的自适应形态学重建算法能够有效消除一些孤立小区域以及小孔，明显地优化了分割结果。
表1列出了在肝脏测试集上的各项指标的平均值及标准差，表2列出了在肝脏肿瘤测试集上的各项指标的平均值及标准差。
表1
表2
通过对图4-图9，以及表1和2的综合分析，证明本发明提出的DefEnCe-Net能实现更高精度的肝脏以及肝脏肿瘤分割结果，在智能医疗领域具有广泛的应用前景。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种可变形的上下文编码网络模型，其特征在于，采用U型编解码结构，包括特征编码器模块、Ladder-ASPP模块和特征解码器模块，所述Ladder-ASPP模块在所述特征编码器模块和所述特征解码器模块的级联处，所述特征编码器模块采用残差连接的可变形卷积块提取输入图像的深层语义特征，获取原始特征图并将原始特征图输入所述Ladder-ASPP模块；所述Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，所述Ladder-ASPP模块通过密集连接的不同扩张率的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，所述Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给所述特征解码器模块，所述特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自输入图像的特征和转置卷积块，恢复出分割结果图。
2.根据权利要求1所述的一种可变形的上下文编码网络模型，其特征在于，还包括注意力模块，所述注意力模块对分割结果图的目标区域信息和边缘细节信息进行平滑处理。
3.根据权利要求1所述的一种可变形的上下文编码网络模型，其特征在于，所述网络模型采用CT图像和金标准作为输入，设定模型运行参数进行训练直至网络收敛。
4.根据权利要求3所述的一种可变形的上下文编码网络模型，其特征在于，所述网络模型的训练中，设定模型运行参数包括设定学习率η＝1×10-3和设定可变形卷积块的偏移层的学习率ηd＝1×10-5，并使用Adam梯度下降来优化网络模型。
5.根据权利要求1所述的一种可变形的上下文编码网络模型，其特征在于，所述Ladder-ASPP模块包括密集连接的扩张率分别为1、2、5和7的3×3卷积。
6.一种采用权利要求1-5中任一项所述的可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，其特征在于，包括以下步骤：
1)预处理：将肝脏的CT图像设置至设定的对比度，并对CT图像进行归一化处理；
2)将预处理后的CT图像输入所述可变形的上下文编码网络模型，所述特征编码器模块采用残差连接的可变形卷积块提取CT图像的深层语义特征，获取原始特征图并将原始特征图输入所述Ladder-ASPP模块；所述Ladder-ASPP模块对原始特征图进行全局平均池化处理，并经过1×1卷积后，使用Sigmoid激活后与原始特征图逐通道相乘来进行通道特征加权，获取第一特征图；以及，所述Ladder-ASPP模块通过密集连接的不同扩张率的3×3卷积对原始特征图进行整合获取上下文信息，获取第二特征图；并且，所述Ladder-ASPP模块将第一特征图和第二特征图拼接后反馈给所述特征解码器模块，所述特征解码器模块采用包含1×1卷积和3×3转置卷积的转置卷积块来进行特征解码，经过跳跃连接和融合来自CT图像的特征和转置卷积块，恢复出初步分割结果图；
3)对初步分割结果图进行自适应形态学重建优化，即得到肝脏以及肝脏肿瘤的最终分割结果图。
7.根据权利要求6所述的采用可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，其特征在于，所述步骤1)中预处理采用W/L调窗算法将肝脏的CT图像进行窗宽窗位设置，以设定对比度。
8.根据权利要求7所述的采用可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，其特征在于，所述W/L调窗算法包括以下步骤：
a)采用下式将CT图像的DICOM转为HU：
HU＝D*RS+RI
其中，D为CT图像的DIOCM值，设置RS值为1，RI值为-1024；
b)采用下式计算映射区间最小值(min)和最大值(max)：
min＝(2*WC-WW)/2.0
max＝(2*WC+WW)/2.0
其中，WW为窗宽，取400hu；WC为窗位，取100hu；
c)采用下式将HU映射到灰度区间[0，255]：
其中，g为调窗后的输出图像。
9.根据权利要求8所述的采用可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，其特征在于，所述归一化处理包括将CT图像的灰度像素归一化至[-200，250]范围内，并导出为图片，分辨率大小为512×512。
10.根据权利要求6所述的采用可变形的上下文编码网络模型对肝脏及肝脏肿瘤的分割方法，其特征在于，所述步骤3)中自适应形态学重建的结构元素SE使用圆形，半径r为：
r＝30×round(R/(H×W))+1
其中，R表示初步分割结果图中最大连接分量的面积，H和W分别表示CT图像的高度和宽度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058875.9A CN112184748B (zh) | 2020-09-30 | 2020-09-30 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011058875.9A CN112184748B (zh) | 2020-09-30 | 2020-09-30 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184748A true CN112184748A (zh) | 2021-01-05 |
| CN112184748B CN112184748B (zh) | 2023-09-15 |
Family
ID=73945504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011058875.9A Active CN112184748B (zh) | 2020-09-30 | 2020-09-30 | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184748B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN112819798A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 一种适用于多种视网膜积液联合分割的上下文关注与融合网络 |
| CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN112967294A (zh) * | 2021-03-11 | 2021-06-15 | 西安智诊智能科技有限公司 | 一种肝脏ct图像分割方法及系统 |
| CN113487568A (zh) * | 2021-07-05 | 2021-10-08 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
| CN113506310A (zh) * | 2021-07-16 | 2021-10-15 | 首都医科大学附属北京天坛医院 | 医学图像的处理方法、装置、电子设备和存储介质 |
| CN113688956A (zh) * | 2021-10-26 | 2021-11-23 | 西南石油大学 | 一种基于深度特征融合网络的砂岩薄片分割和识别方法 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
| CN115578404A (zh) * | 2022-11-14 | 2023-01-06 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260956A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN110503649A (zh) * | 2019-07-05 | 2019-11-26 | 陕西科技大学 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
| CN111476757A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
| US20200296362A1 (en) * | 2019-03-15 | 2020-09-17 | Mux, Inc. | Method for generating video- and audience-specific encoding ladders |
-
2020
- 2020-09-30 CN CN202011058875.9A patent/CN112184748B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260956A1 (en) * | 2017-03-10 | 2018-09-13 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| US20200296362A1 (en) * | 2019-03-15 | 2020-09-17 | Mux, Inc. | Method for generating video- and audience-specific encoding ladders |
| CN110503649A (zh) * | 2019-07-05 | 2019-11-26 | 陕西科技大学 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
| CN111476757A (zh) * | 2020-03-10 | 2020-07-31 | 西北大学 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
Non-Patent Citations (1)
| Title |
|---|
| 张润谷;: "基于多尺度多路径FCN的视网膜血管分割", 激光杂志, no. 02 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819798A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 一种适用于多种视网膜积液联合分割的上下文关注与融合网络 |
| CN112819798B (zh) * | 2021-02-05 | 2023-06-13 | 苏州大学 | 多种视网膜积液联合分割的上下文关注与融合网络系统 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN112967294A (zh) * | 2021-03-11 | 2021-06-15 | 西安智诊智能科技有限公司 | 一种肝脏ct图像分割方法及系统 |
| CN112949838B (zh) * | 2021-04-15 | 2023-05-23 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
| CN113487568A (zh) * | 2021-07-05 | 2021-10-08 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
| CN113487568B (zh) * | 2021-07-05 | 2023-09-19 | 陕西科技大学 | 一种基于差分曲率的肝脏表面平滑度的测量方法 |
| CN113506310A (zh) * | 2021-07-16 | 2021-10-15 | 首都医科大学附属北京天坛医院 | 医学图像的处理方法、装置、电子设备和存储介质 |
| CN113506310B (zh) * | 2021-07-16 | 2022-03-01 | 首都医科大学附属北京天坛医院 | 医学图像的处理方法、装置、电子设备和存储介质 |
| CN113688956A (zh) * | 2021-10-26 | 2021-11-23 | 西南石油大学 | 一种基于深度特征融合网络的砂岩薄片分割和识别方法 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114187296B (zh) * | 2021-11-09 | 2022-12-13 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114612408B (zh) * | 2022-03-04 | 2023-06-06 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
| CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
| CN115578404B (zh) * | 2022-11-14 | 2023-03-31 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
| CN115578404A (zh) * | 2022-11-14 | 2023-01-06 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184748B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184748B (zh) | 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法 | |
| US11308587B2 (en) | Learning method of generative adversarial network with multiple generators for image denoising | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| WO2020108562A1 (zh) | 一种ct图像内的肿瘤自动分割方法及系统 | |
| CN110853051B (zh) | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 | |
| CN112949838B (zh) | 基于四分支注意力机制的卷积神经网络及图像分割方法 | |
| CN109685813A (zh) | 一种自适应尺度信息的u型视网膜血管分割方法 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN103164855B (zh) | 一种结合反射光照的贝叶斯决策前景提取方法 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
| CN109949276A (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN108664976B (zh) | 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法 | |
| US11816870B2 (en) | Image processing method and device, neural network and training method thereof, storage medium | |
| CN110334656B (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
| CN111080657A (zh) | 基于卷积神经网络多维度融合的ct图像器官分割方法 | |
| CN112150476A (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
| CN110110723B (zh) | 一种图像中目标区域自动提取的方法及装置 | |
| WO2023063874A1 (en) | Method and system for image processing based on convolutional neural network | |
| CN114677403A (zh) | 基于深度学习注意力机制的肝脏肿瘤图像分割方法 | |
| CN111724899A (zh) | 一种基于Fbank和MFCC融合特征的帕金森音频智能检测方法及系统 | |
| Wang et al. | EAR-U-Net: EfficientNet and attention-based residual U-Net for automatic liver segmentation in CT | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |