CN111640120A - 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 - Google Patents

一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 Download PDF

Info

Publication number
CN111640120A
CN111640120A CN202010274508.6A CN202010274508A CN111640120A CN 111640120 A CN111640120 A CN 111640120A CN 202010274508 A CN202010274508 A CN 202010274508A CN 111640120 A CN111640120 A CN 111640120A
Authority
CN
China
Prior art keywords
segmentation
network
pancreas
image
dense connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010274508.6A
Other languages
English (en)
Other versions
CN111640120B (zh
Inventor
胡佩君
李劲松
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202010274508.6A priority Critical patent/CN111640120B/zh
Publication of CN111640120A publication Critical patent/CN111640120A/zh
Priority to PCT/CN2021/073132 priority patent/WO2021203795A1/zh
Priority to US17/541,271 priority patent/US11562491B2/en
Application granted granted Critical
Publication of CN111640120B publication Critical patent/CN111640120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法。该方法在从粗到细的两步分割框架下，以密集连接扩张卷积网络为基础卷积网络架构，以获得目标多尺度的图像特征表达。在粗分割阶段预测胰腺的初始分割概率图。然后通过基于测地距离变换的显著性变换，计算显著性图，并将显著性模块引入密集连接扩张卷积网络的特征提取层中，构建显著性密集连接扩张卷积网络作为精分割网络模型。利用训练样本集分别训练粗分割模型和精分割模型。新的测试数据分别通过粗分割模型和精分割模型，再对多层二维分割结果融合，获得最终胰腺精准分割结果。本发明具有自动化、精度高、可迁移扩展的特点，可以实现以胰腺为代表的小器官的自动精准分割。

Description

一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割 方法
技术领域
本发明属于CT分割技术领域，尤其涉及一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法。
背景技术
在胰腺疾病的诊断与预后预测中，一个必要的任务是从医学影像(如核磁共振图像(MR)、计算机断层扫描(CT))中识别与分割胰腺区域。胰腺的精确分割可以提供多种重要的生物标志物，例如体积、三维形状特征、三维曲面特征等等。例如，胰腺体积可以为胰腺的内分泌和外分泌功能评估，预测胰十二指肠切除术后胰瘘的发生提供帮助。然而，手工逐层地从三维影像中勾画胰腺边界耗时耗力，且在不同操作者和不同操作下具有多变性。因此，研究快速、鲁棒的胰腺自动分割算法具有重要的临床意义和价值。
胰腺CT自动分割是一个具有挑战性的任务，原因在于：1)胰腺占据整个CT的比例非常小，导致图像分割任务的前景与背景比例悬殊；2)胰腺与周围的器官组织共享灰度纹理分布，边界模糊或者没有可见边界；3)胰腺具有不规则形状，在位置和大小上有很大的差异性。这些特点导致传统的基于图像信息的分割算法(如水平集、图割、阈值法)不适用于胰腺的自动分割。
近年来的深度学习方法在胰腺的分割任务中取得了较大的突破。现有方法一般采取从粗到细的两步或迭代式的分割方式，即首先训练一个粗分割网络模型来预测得到胰腺的初始分割区域。然后，利用初始分割的位置信息对胰腺图像进行感兴趣区域的截取，获得较小的图像块作为精分割网络的输入，训练精分割网络模型得到胰腺的最终分割结果。这种方式虽然可以减轻胰腺区域小带来的检测困难，但是没有充分的利用初始分割信息，只利用了位置信息。另一方面，目前基于深度学习的胰腺分割方法中，较常用到的网络模型为端到端的U-Net,DenseNet,ResNet等，没有特别的考虑胰腺尺度多变的特点。
发明内容
本发明的目的在于针对现有从粗到细的两步深度卷积神经网络胰腺CT分割方法的不足，提出一种基于显著性密集连接扩张卷积网络的小目标自动分割模型，实现胰腺CT的精准分割。
本发明的目的是通过以下技术方案来实现的：本发明以密集连接扩张卷积网络为基础网络构架，并在网络中引入新的基于测地距离变换的显著性模块，构建显著性密集连接扩张卷积网络用于胰腺的精准分割。在从粗到细的两步分割框架下，通过显著性模块将粗分割的信息转化为显著性信息加入到精分割网络的特征提取层中，有效利用粗分割信息来引导精分割任务，提高最终胰腺分割的精度。所构建的显著性模块没有对基础网络架构设有任何假设，可以扩展到其他网络结构中。同时，密集连接扩张卷积网络可以获得密集的多尺度特征表达，有效克服胰腺尺度多变的困难，提高网络模型的分割精度。本发明的具体实现步骤如下：
(1)训练集数据预处理，包括：
搜集CT体数据，并做出这些数据的胰腺的标准分割结果；
记三维CT体数据为X，体数据的层数为L；相对应的标准分割为Y＝(yj,j＝1,…,|X|),yj＝{0,1}，其中|X|代表X中所有体素个数，yj＝1或yj＝0分别代表体素j属于胰腺或背景；
对X进行轴位面切片，获得二维图像序列；将连续的三张图像组合作为一张三通道伪彩图图像，记为XA,l(l＝1,…,L)；
对Y进行轴位面切片，将连续三张标签图像组合作为一张三通道的标签图，记为YA,l(l＝1,…,L)；
对每张二维图像XA,l进行对比度调整；
对每对二维图像XA,l和YA,l，截取固定大小的图像块，作为粗分割网络的输入。
(2)粗分割阶段，包括：
构建用于对胰腺CT进行粗分割的深度卷积神经网络，利用训练集样本训练该网络，得到胰腺初始分割模型；
将待测试图像输入训练完成的网络模型中，使得图像中每一点被赋予属于胰腺的概率值
Figure BDA0002444292500000021
对概率值进行二值化操作，得到胰腺的初始分割结果
Figure BDA0002444292500000022
根据初始分割结果对原始输入图像进行感兴趣区域框选，根据设定的区域框截取原始图像，记作
Figure BDA0002444292500000023
对原始标签图像进行框选，得到
Figure BDA0002444292500000024
(3)计算基于测地距离的显著性图，包括：
根据原始图像
Figure BDA0002444292500000025
和初始分割结果
Figure BDA0002444292500000026
计算测地距离图；
对测地距离图作显著性变换，得到显著性图
Figure BDA0002444292500000027
(4)精分割阶段，包括：
构建显著性密集连接扩张卷积网络：在密集连接扩张卷积网络的每一个密集块后面，加入显著性模块以引入基于测地距离图的显著性信息，记
Figure BDA0002444292500000028
为密集块输出的特征图，将显著性图
Figure BDA0002444292500000031
作为一个权重图，作用到特征图上：
Figure BDA0002444292500000032
其中c∈{1,2,…,C}是特征图通道的索引，
Figure BDA0002444292500000033
表示逐元素相乘；
将得到的
Figure BDA0002444292500000034
与原来的特征图
Figure BDA0002444292500000035
通过一个恒等变换以及参数η组合在一起：
Figure BDA0002444292500000036
其中符号
Figure BDA0002444292500000037
代表逐元素相加，参数η为调节系数，在网络中通过训练得到；得到的显著性模块的输出
Figure BDA0002444292500000038
作为下一层过渡层的输入来参与运算；
将原始图像
Figure BDA0002444292500000039
和对应的标签图像
Figure BDA00024442925000000310
输入到构建的显著性密集连接扩张卷积网络中进行参数训练，得到精分割网络模型。
(5)融合多层二维胰腺分割结果，获得胰腺三维分割结果
对于测试图像Xtest，将其沿着轴向面切片得到二维图像序列，并将连续的三张灰度图像合成一张三通道的伪彩图图像
Figure BDA00024442925000000311
将每张图像依此输入训练所得的粗分割模型和精分割模型中，得到对每张图像的关于胰腺区域的预测结果PA,l；
对测试结果PA,l进行多层概率值融合，每一层二维原始图像的预测分割结果ZA(l)为三张伪彩图在该层预测值的均值。
进一步地，所述对每张二维图像XA,l进行对比度调整，具体为：将图像的HU值截断在[-100,240]之间，然后归一化到[0,1]之间。
进一步地，所述粗分割阶段中，利用密集连接扩张卷积网络对胰腺CT进行粗分割，该网络由两部分组成：
第一个部分是密集连接网络161(DenseNet161)的特征提取层，它包括一层卷积-归一化-ReLU激活-池化层，4个密集块(denseblock)和4层过渡层(transition layer)；第一个密集块得到的特征图有96个，后续的增长率为48；特征提取层输出的特征图大小为1/8大小的输入图像大小；
第二个部分是三层密集连接的扩张卷积层(atrous convolutional layer)，扩张率(dilation rate)分别为3，6和12；每一层扩张卷积层的输入为前面所有扩张卷积层的输出；
最后，网络连接一层上采样率为8的上采样层和一层分类层，用于预测图像中每点属于胰腺区域的概率；
网络对应的损失函数设置为：
Figure BDA00024442925000000312
其中，n是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景；函数I(·)是示性函数，函数log为对数函数，p(·)为网络模型预测的概率函数；符号∑为求和符号，符号∈表示属于。
进一步地，所述粗分割阶段中，将准备好的训练集输入到密集连接扩张卷积网络中，利用反向传播算法求得网络参数。
进一步地，所述测地距离图
Figure BDA0002444292500000041
的计算方式具体为：
根据初始分割
Figure BDA0002444292500000042
记属于胰腺区域和背景的像素点集合分别为Sf和Sg；从像素点i到Sf的测地距离
Figure BDA0002444292500000043
定义为：
Figure BDA0002444292500000044
Figure BDA0002444292500000045
其中
Figure BDA0002444292500000046
是所有从像素点i到j的可行路径集合；路径p被s∈[0,1]参数化为p(s)；
Figure BDA0002444292500000047
是垂直于路径方向的单位向量，p(s)′表示关于s求导；图像导数
Figure BDA0002444292500000048
要求从i到j的路径关于图像灰度相似性是最短的；其中的符号
Figure BDA0002444292500000049
表示关于s求从0到1的积分，符号|| ||表示求l1范数，符号∈表示属于；
设定测地距离图为
Figure BDA00024442925000000410
其计算方式如下：
Figure BDA00024442925000000411
其中i是测地距离图内像素点。
进一步地，所述显著性图
Figure BDA00024442925000000412
的计算方式如下：
Figure BDA00024442925000000413
其中r(·)是一个保持大小的显著性变换，包括一层卷积核大小为3×3的卷积层。
进一步地，所述步骤(5)中，每一层二维原始图像的预测分割结果ZA(l)的计算方式如下：
Figure BDA00024442925000000414
其中PA,l(i),i＝1,2,3分别表示取PA,l第i个通道的值。
本申请还提出了一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割系统，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现上述方法中的步骤。
本申请还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述方法中的步骤。
本发明的有益效果是：本发明基于从粗到细的两步分割框架，将密集连接扩张卷积网络作为基础网络架构用于胰腺分割任务，可解决胰腺在大小、位置多变情况下的检测与分割的困难。同时，创新性地在密集连接扩张卷积网络中引入基于测地距离变换的显著性模块，有效将粗分割结果转化为显著性信息加入到精分割网络模型的特征表示层中，提高胰腺分割的准确性。所提出的显著性模块具有很好的可扩展性，可以移植到其他的深度卷积网络结构中。
附图说明
图1为本发明基于显著性密集连接扩张卷积网络的胰腺分割流程图；
图2为密集连接扩张卷积网络结构图；
图3为本发明的分割示例。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本申请的扩张卷积为：在标准的卷积核中注入空洞，以此来增加模型的感受野(reception field)。HU值：即CT值，是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，空气为-1000，致密骨为+1000。
本申请提出的一种基于显著性密集连接扩张卷积网络的从粗到细的两步分割流程如图1所示。该流程为：在粗分割阶段，首先构建密集连接扩张卷积网络(如图2)，用于胰腺CT三维体数据的胰腺区域粗分割，并对粗分割结果进行测地距离变换和显著性变换，得到显著性图。同时，利用粗分割结果对输入的原始图像进行感兴趣区域的框选，得到的框选后图像作为精分割模型的输入。在精分割阶段，构建显著性密集连接扩张卷积网络模型，该模型利用原始图像和从粗分割胰腺区域中计算得到的显著性信息，进行训练与预测，实现胰腺的精准分割。具体步骤如下所述：
(1)训练集数据预处理
(1.1)搜集CT体数据，并做出这些数据的胰腺的标准分割结果。记三维CT体数据为X，大小为512×512×L，其中L为体数据的层数。相对应的标准分割为Y＝(yj,j＝1,…,|X|),yj＝{0,1}，其中|X|代表X中所有体素个数，yj＝1或yj＝0分别代表体素j属于胰腺或背景。将X进行轴位面切片，获得二维图像序列。将连续的三张图像组合作为一张三通道伪彩图图像，记为XA,l(l＝1,…,L)。同理，对Y进行轴位面切片，连续三张标签图像组合作为一张三通道的标签图，记为YA,l(l＝1,…,L)。
(1.2)对每张二维图像XA,l，进行对比度调整。具体的，将图像的HU值截断在[-100,240]之间，然后归一化到[0,1]之间。
(1.3)对每对二维图像XA,l和YA,l，截取大小为448×448的图像块，作为粗分割网络的输入。
(2)利用密集连接扩张卷积网络对胰腺CT进行粗分割
(2.1)构建密集连接扩张卷积网络(见图2)，该网络由两部分组成。首先将密集连接网络161(DenseNet161)的特征提取层作为第一个部分，它包括一层卷积-归一化-ReLU激活-池化层，4个密集块(denseblock)和4层过渡层(transition layer)。第一个密集块得到的特征图有96个，后续的增长率为48。特征提取层输出的特征图大小为1/8大小的输入图像大小，即56×56。密集连接扩张卷积网络的第二个部分是三层密集连接的扩张卷积层(atrous convolutional layer)，扩张率(dilation rate)分别为3，6和12。每一层扩张卷积层的输入为前面所有扩张卷积层的输出。密集连接扩张卷积网络最终输出的特征图大小为56×56。
最后，网络连接一层上采样率为8的上采样层和一层分类层，用于预测图像中每点属于胰腺区域的概率。网络对应的损失函数设置为：
Figure BDA0002444292500000061
其中，n是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景。函数I(·)是示性函数，函数log为对数函数，p(·)为网络模型预测的概率函数。符号∑为求和符号，符号∈表示属于。
(2.2)利用训练集样本训练密集连接扩张卷积网络中的各种参数。将准备好的训练集输入到网络中，利用反向传播算法求得网络参数。训练完成，得到胰腺初始分割模型。
(2.3)将待测试图像输入训练完成的网络模型中，使得图像中每一点被赋予属于胰腺的概率值
Figure BDA0002444292500000062
对概率值进行二值化操作，二值化阈值取0.5。得到胰腺的初始分割结果
Figure BDA0002444292500000063
(2.4)根据初始分割结果，对原始输入图像进行感兴趣区域框选。具体，计算
Figure BDA0002444292500000064
的边界框，并增加边界m,m这里设为20个像素。根据设定的区域框，截取原始图像，记作
Figure BDA0002444292500000065
同样的，对原始标签图像进行框选，得到
Figure BDA0002444292500000066
(3)计算基于测地距离的显著性图
(3.1)根据原始图像
Figure BDA0002444292500000067
初始分割结果
Figure BDA0002444292500000068
计算测地距离图。根据初始分割
Figure BDA0002444292500000069
记属于胰腺区域和背景的像素点集合分别为Sf和Sg。从像素点i到Sf的测地距离
Figure BDA00024442925000000610
定义为：
Figure BDA0002444292500000071
Figure BDA0002444292500000072
其中
Figure BDA0002444292500000073
是所有从像素点i到j的可行路径集合。路径p被s∈[0,1]参数化为p(s)。
Figure BDA0002444292500000074
是垂直于路径方向的单位向量，p(s)′表示关于s求导。图像导数
Figure BDA0002444292500000075
要求从i到j的路径关于图像灰度相似性是最短的。其中的符号
Figure BDA0002444292500000076
表示关于s求从0到1的积分，符号|| ||表示求l1范数，符号∈表示属于。
我们设定测地距离图为
Figure BDA0002444292500000077
其计算方式如下：
Figure BDA0002444292500000078
其中i是测地距离图内像素点。
(3.2)对测地距离图作显著性变换，得到显著性图
Figure BDA0002444292500000079
Figure BDA00024442925000000710
其中r(·)是一个保持大小的显著性变换，包括一层卷积核大小为3×3的卷积层。
(4)利用显著性密集连接扩张卷积网络对胰腺CT进行精分割
(4.1)对密集连接扩张网络引入显著性模块，构建显著性密集连接扩张卷积网络。在步骤(2)所构建的密集连接扩张卷积网络的每一个密集块后面，加入显著性模块以引入基于测地距离图的显著性信息。具体的，记
Figure BDA00024442925000000711
为密集块输出的特征图，将显著性图
Figure BDA00024442925000000712
作为一个权重图，作用到特征图上：
Figure BDA00024442925000000713
其中c∈{1,2,…,C}是特征图通道的索引，
Figure BDA00024442925000000714
表示逐元素相乘。进一步，将得到的
Figure BDA00024442925000000715
与原来的特征图
Figure BDA00024442925000000716
通过一个恒等变换以及参数η组合在一起：
Figure BDA00024442925000000717
其中符号
Figure BDA00024442925000000718
代表逐元素相加，参数η为调节系数，在网络中通过训练得到。得到的显著性模块的输出
Figure BDA00024442925000000719
作为下一层过渡层的输入来参与运算。
(4.2)将原始图像
Figure BDA00024442925000000720
和对应的标签图像
Figure BDA00024442925000000721
输入到构建的显著性密集连接扩张卷积网络中进行参数训练，得到精分割网络模型。
(5)融合多层二维胰腺分割结果，获得胰腺三维分割结果
(5.1)对于给定的测试图像Xtest，将其沿着轴向面切片得到二维图像序列，并将连续的三张灰度图像合成一张三通道的伪彩图图像
Figure BDA00024442925000000722
将每张图像依此输入训练所得的粗分割模型和精分割模型中，得到对每张图像的关于胰腺区域的预测结果PA,l。PA,l是一张三通道图像，它的第一、二和三通道分别对应原始CT体数据第l-1，l和l+1层属于胰腺的概率值。
(5.1)对测试结果PA,l进行多层概率值融合，每一层二维原始图像的预测分割结果ZA(l)为三张伪彩图在该层预测值的均值，即：
Figure BDA0002444292500000081
其中PA,l(i),i＝1,2,3分别表示取PA,l第i个通道的值。
我们在82例胰腺CT数据上对模型进行了测试。采用交叉验证的方法将所有数据分成四份，编号为1,2,3,4。第一组实验使用编号2,3,4训练，1用来测试，第二组实验使用1,3,4训练，2来测试，依次类推，最后将四组实验的准确率取平均。实验表明，使用DenseNet161网络模型的精分割准确率为82.83％，使用密集连接扩张卷积网络模型的分割准确率为83.88％，而使用本发明显著性密集连接扩张卷积网络模型的准确为85.31％。这表明，本发明所利用和提出的密集连接扩张卷积网络和显著性模块可以有效提高胰腺分割准确率。
图3展示了我们提出的显著性密集连接扩张卷积网络模型在一个CT体数据不同层上的分割结果，白色轮廓线为算法分割结果，黑色轮廓线为金标准。该CT数据的粗分割准确率为80.27％，精分割准确率为85.23％。
本发明的创造点在于：本发明利用密集连接扩张卷积网络进行胰腺CT的分割，获得胰腺的密集多尺度特征表示；基于测地距离变换和单层卷积层变换，对初始分割结果进行显著性变换，得到关于胰腺的显著性信息；对密集连接扩张网络引入显著性模块，构建显著性密集连接扩张卷积网络，使得网络在特征提取阶段获取关于胰腺区域的显著性信息。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。例如，本发明中的密集连接扩张卷积网络还可以替换为其他的深度卷积神经网络模型，例如U-net,DenseNet,ResNet等，网络模型的更换不影响显著性模块的引入。本发明技术方案用于CT胰腺数据，影像模态也可替换为诸如核磁共振图(MRI)等其他影像数据，分割目标胰腺可以替代为诸如胆囊等其他较小的器官或组织。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，该方法包括以下步骤：
(1)训练集数据预处理，包括：
搜集CT体数据，并做出这些数据的胰腺的标准分割结果；
记三维CT体数据为X，体数据的层数为L；相对应的标准分割为Y＝(yj，j＝1，…，|X|)，yj＝{0，1)，其中|X|代表X中所有体素个数，yj＝1或yj＝0分别代表体素j属于胰腺或背景；
对X进行轴位面切片，获得二维图像序列；将连续的三张图像组合作为一张三通道伪彩图图像，记为XA，l(l＝1，…，L)；
对Y进行轴位面切片，将连续三张标签图像组合作为一张三通道的标签图，记为YA，l(l＝1，…，L)；
对每张二维图像XA，l进行对比度调整；
对每对二维图像XA，l和YA，l，截取固定大小的图像块，作为粗分割网络的输入。
(2)粗分割阶段，包括：
构建用于对胰腺CT进行粗分割的深度卷积神经网络，利用训练集样本训练该网络，得到胰腺初始分割模型；
将待测试图像输入训练完成的网络模型中，使得图像中每一点被赋予属于胰腺的概率值
Figure FDA0002444292490000011
对概率值进行二值化操作，得到胰腺的初始分割结果
Figure FDA00024442924900000114
根据初始分割结果对原始输入图像进行感兴趣区域框选，根据设定的区域框截取原始图像，记作
Figure FDA0002444292490000013
对原始标签图像进行框选，得到
Figure FDA0002444292490000014
(3)计算基于测地距离的显著性图，包括：
根据原始图像
Figure FDA0002444292490000015
和初始分割结果
Figure FDA0002444292490000016
计算测地距离图；
对测地距离图作显著性变换，得到显著性图
Figure FDA0002444292490000017
(4)精分割阶段，包括：
构建显著性密集连接扩张卷积网络：在密集连接扩张卷积网络的每一个密集块后面，加入显著性模块以引入基于测地距离图的显著性信息，记
Figure FDA0002444292490000018
为密集块输出的特征图，将显著性图
Figure FDA0002444292490000019
作为一个权重图，作用到特征图上：
Figure FDA00024442924900000110
其中c∈(1，2，...，C}是特征图通道的索引，
Figure FDA00024442924900000111
表示逐元素相乘；
将得到的
Figure FDA00024442924900000112
与原来的特征图
Figure FDA00024442924900000113
通过一个恒等变换以及参数η组合在一起：
Figure FDA0002444292490000021
其中符号
Figure FDA0002444292490000022
代表逐元素相加，参数η为调节系数，在网络中通过训练得到；得到的显著性模块的输出
Figure FDA0002444292490000023
作为下一层过渡层的输入来参与运算；
将原始图像
Figure FDA0002444292490000024
和对应的标签图像
Figure FDA0002444292490000025
输入到构建的显著性密集连接扩张卷积网络中进行参数训练，得到精分割网络模型。
(5)融合多层二维胰腺分割结果，获得胰腺三维分割结果
对于测试图像Xtest，将其沿着轴向面切片得到二维图像序列，并将连续的三张灰度图像合成一张三通道的伪彩图图像
Figure FDA0002444292490000026
将每张图像依此输入训练所得的粗分割模型和精分割模型中，得到对每张图像的关于胰腺区域的预测结果PAl；
对测试结果PA，l进行多层概率值融合，每一层二维原始图像的预测分割结果ZA(l)为三张伪彩图在该层预测值的均值。
2.根据权利要求1所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述对每张二维图像XA，l进行对比度调整，具体为：将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。
3.根据权利要求1所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述粗分割阶段中，利用密集连接扩张卷积网络对胰腺CT进行粗分割，该网络由两部分组成：
第一个部分是密集连接网络161的特征提取层，它包括一层卷积-归一化-ReLU激活-池化层，4个密集块和4层过渡层；第一个密集块得到的特征图有96个，后续的增长率为48；特征提取层输出的特征图大小为1/8大小的输入图像大小；
第二个部分是三层密集连接的扩张卷积层，扩张率分别为3，6和12；每一层扩张卷积层的输入为前面所有扩张卷积层的输出；
最后，网络连接一层上采样率为8的上采样层和一层分类层，用于预测图像中每点属于胰腺区域的概率；
网络对应的损失函数设置为：
Figure FDA0002444292490000027
其中，n是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景；函数I(·)是示性函数，p(·)为网络模型预测的概率函数。
4.根据权利要求3所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述粗分割阶段中，将准备好的训练集输入到密集连接扩张卷积网络中，利用反向传播算法求得网络参数。
5.根据权利要求1所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述测地距离图
Figure FDA0002444292490000031
的计算方式具体为：
根据初始分割
Figure FDA0002444292490000032
记属于胰腺区域和背景的像素点集合分别为Sf和Sg；从像素点i到Sf的测地距离
Figure FDA0002444292490000033
定义为：
Figure FDA0002444292490000034
Figure FDA0002444292490000035
其中
Figure FDA0002444292490000036
是所有从像素点i到j的可行路径集合；路径p被s∈[0，1]参数化为p(s)；
Figure FDA0002444292490000037
是垂直于路径方向的单位向量，p(s)′表示关于s求导；图像导数
Figure FDA0002444292490000038
要求从i到j的路径关于图像灰度相似性是最短的；
设定测地距离图为
Figure FDA0002444292490000039
其计算方式如下：
Figure FDA00024442924900000310
其中i是测地距离图内像素点。
6.根据权利要求5所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述显著性图
Figure FDA00024442924900000311
的计算方式如下：
Figure FDA00024442924900000312
其中r(·)是一个保持大小的显著性变换，包括一层卷积核大小为3×3的卷积层。
7.根据权利要求1所述的一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法，其特征在于，所述步骤(5)中，每一层二维原始图像的预测分割结果ZA(l)的计算方式如下：
Figure FDA00024442924900000313
其中PA，l(i)，i＝1，2，3分别表示取PA，l第i个通道的值。
8.一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割系统，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至7中任意一项所述的方法中的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。
CN202010274508.6A 2020-04-09 2020-04-09 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 Active CN111640120B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010274508.6A CN111640120B (zh) 2020-04-09 2020-04-09 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
PCT/CN2021/073132 WO2021203795A1 (zh) 2020-04-09 2021-01-21 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
US17/541,271 US11562491B2 (en) 2020-04-09 2021-12-03 Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010274508.6A CN111640120B (zh) 2020-04-09 2020-04-09 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法

Publications (2)

Publication Number Publication Date
CN111640120A true CN111640120A (zh) 2020-09-08
CN111640120B CN111640120B (zh) 2023-08-29

Family

ID=72333164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274508.6A Active CN111640120B (zh) 2020-04-09 2020-04-09 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法

Country Status (3)

Country Link
US (1) US11562491B2 (zh)
CN (1) CN111640120B (zh)
WO (1) WO2021203795A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257528A (zh) * 2020-10-12 2021-01-22 南京工业大学 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法
CN112330642A (zh) * 2020-11-09 2021-02-05 山东师范大学 基于双输入全卷积网络的胰腺图像分割方法及系统
CN112529911A (zh) * 2020-12-07 2021-03-19 重庆大学 一种胰腺图像分割模型的训练方法、图像分割方法和装置
CN112598634A (zh) * 2020-12-18 2021-04-02 燕山大学 基于3d cnn和迭代搜索的ct影像器官定位方法
CN113379682A (zh) * 2021-05-21 2021-09-10 郑州大学 一种心脏mri影像耦合水平集分割方法及系统
WO2021203795A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN113706486A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN114332547A (zh) * 2022-03-17 2022-04-12 浙江太美医疗科技股份有限公司 医学目标分类方法和装置、电子设备和存储介质
CN116309385A (zh) * 2023-02-27 2023-06-23 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116363373A (zh) * 2023-06-01 2023-06-30 南京大学 基于级联末端引导机制的扩张胰管分割方法
CN118135556A (zh) * 2024-05-06 2024-06-04 江苏艾玮得生物科技有限公司 交互识别方法、装置、存储介质及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022145001A (ja) * 2021-03-19 2022-10-03 キヤノン株式会社 画像処理装置、画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894368A (zh) * 2010-07-06 2010-11-24 西安电子科技大学 基于测地距离的半监督sar图像水域分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8015125B2 (en) * 2006-08-31 2011-09-06 Drexel University Multi-scale segmentation and partial matching 3D models
US8428327B2 (en) * 2008-05-08 2013-04-23 Oslo Universitetssykehus Hf Vessel segmentation in DCE MR imaging
WO2015013908A1 (en) * 2013-07-31 2015-02-05 Microsoft Corporation Geodesic saliency using background priors
EP3039645B1 (en) * 2013-08-28 2017-05-17 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi A semi automatic target initialization method based on visual saliency
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10198654B2 (en) * 2016-06-24 2019-02-05 Ebay Inc. Automated saliency map estimation
EP3923237A1 (en) * 2017-02-22 2021-12-15 The United States of America as represented by The Secretary Department of Health and Human Services Detection of prostate cancer in multi-parametric mri using random forest
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110889852B (zh) * 2018-09-07 2022-05-06 天津大学 基于残差-注意力深度神经网络的肝脏分割方法
CN109447998B (zh) * 2018-09-29 2020-12-18 华中科技大学 基于PCANet深度学习模型下的自动分割方法
CN109636817B (zh) * 2018-11-30 2020-10-30 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法
CN111640120B (zh) * 2020-04-09 2023-08-29 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894368A (zh) * 2010-07-06 2010-11-24 西安电子科技大学 基于测地距离的半监督sar图像水域分割方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓辉;吴禄慎;陈华伟;胡;石雅莹;: "基于区域聚类分割的点云特征线提取" *
蒋旻;周龙;王松;雷泽;李劲松: "基于GMM与活动轮廓模型的图像协同分割" *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203795A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
US11562491B2 (en) 2020-04-09 2023-01-24 Zhejiang Lab Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN112257528A (zh) * 2020-10-12 2021-01-22 南京工业大学 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法
CN112330642B (zh) * 2020-11-09 2022-11-04 山东师范大学 基于双输入全卷积网络的胰腺图像分割方法及系统
CN112330642A (zh) * 2020-11-09 2021-02-05 山东师范大学 基于双输入全卷积网络的胰腺图像分割方法及系统
CN112529911A (zh) * 2020-12-07 2021-03-19 重庆大学 一种胰腺图像分割模型的训练方法、图像分割方法和装置
CN112529911B (zh) * 2020-12-07 2024-02-09 重庆大学 一种胰腺图像分割模型的训练方法、图像分割方法和装置
CN112598634A (zh) * 2020-12-18 2021-04-02 燕山大学 基于3d cnn和迭代搜索的ct影像器官定位方法
CN112598634B (zh) * 2020-12-18 2022-11-25 燕山大学 基于3d cnn和迭代搜索的ct影像器官定位方法
CN113379682B (zh) * 2021-05-21 2022-10-04 郑州大学 一种心脏mri影像耦合水平集分割方法及系统
CN113379682A (zh) * 2021-05-21 2021-09-10 郑州大学 一种心脏mri影像耦合水平集分割方法及系统
CN113706486A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN114332547A (zh) * 2022-03-17 2022-04-12 浙江太美医疗科技股份有限公司 医学目标分类方法和装置、电子设备和存储介质
CN116309385A (zh) * 2023-02-27 2023-06-23 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116309385B (zh) * 2023-02-27 2023-10-10 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116363373A (zh) * 2023-06-01 2023-06-30 南京大学 基于级联末端引导机制的扩张胰管分割方法
CN116363373B (zh) * 2023-06-01 2023-10-13 南京大学 基于级联末端引导机制的扩张胰管分割方法
CN118135556A (zh) * 2024-05-06 2024-06-04 江苏艾玮得生物科技有限公司 交互识别方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2021203795A1 (zh) 2021-10-14
CN111640120B (zh) 2023-08-29
US11562491B2 (en) 2023-01-24
US20220092789A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
US11488021B2 (en) Systems and methods for image segmentation
WO2021088747A1 (zh) 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
WO2023071531A1 (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN110992370A (zh) 一种胰腺组织的分割方法、装置及终端设备
CN107516314B (zh) 医学图像超体素分割方法和装置
Wang et al. Anomaly segmentation in retinal images with poisson-blending data augmentation
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN113269754A (zh) 用于运动估计的神经网络系统和方法
CN112990367A (zh) 一种图像处理方法、装置、设备以及存储介质
CN117409201A (zh) 基于半监督学习的mr医学影像结直肠癌分割方法及系统
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN112508844B (zh) 一种基于弱监督的大脑磁共振图像分割方法
CN114972382A (zh) 一种基于轻量级UNet++网络的脑肿瘤分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant