CN112330642B - 基于双输入全卷积网络的胰腺图像分割方法及系统 - Google Patents

基于双输入全卷积网络的胰腺图像分割方法及系统 Download PDF

Info

Publication number
CN112330642B
CN112330642B CN202011241295.3A CN202011241295A CN112330642B CN 112330642 B CN112330642 B CN 112330642B CN 202011241295 A CN202011241295 A CN 202011241295A CN 112330642 B CN112330642 B CN 112330642B
Authority
CN
China
Prior art keywords
image
pancreas
abdomen
convolution network
input full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011241295.3A
Other languages
English (en)
Other versions
CN112330642A (zh
Inventor
薛洁
王媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202011241295.3A priority Critical patent/CN112330642B/zh
Publication of CN112330642A publication Critical patent/CN112330642A/zh
Application granted granted Critical
Publication of CN112330642B publication Critical patent/CN112330642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开的基于双输入全卷积网络的胰腺图像分割方法及系统，包括：采集腹部图像；对腹部图像进行预处理；基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；将胰腺初始图像和预处理后的腹部图像输入双输入全卷积网络模型中，获取胰腺图像。

Description

基于双输入全卷积网络的胰腺图像分割方法及系统
技术领域
本发明涉及图像分割技术领域，尤其涉及基于双输入全卷积网络的胰腺图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
从腹部扫描中正确分割胰腺对于胰腺相关疾病的诊断和治疗至关重要，但是，胰腺是一个小的，柔软而有弹性的腹部器官，具有较高的解剖变异性，在CT扫描中组织对比度也很低，这使得分割任务具有挑战性。
现有的使用神经网络进行胰腺分割的方法多为两阶段算法，首先对腹部图像进行粗切割，确定意向的初始分割区域，之后利用初始分割的位置对胰腺进行精确切割，获取胰腺图像，但是现有的粗切割方法存在胰腺定位不准确的问题，从而影响了胰腺图像分割的准确率。
发明内容
本公开为了解决上述问题，提出了基于双输入全卷积网络的胰腺图像分割方法及系统，基于对比度的图的视觉显着性算法从腹部图像中提取了胰腺初始图像，有效识别了胰腺的边界信息，从而在对胰腺图像分割时，能够对胰腺准确定位，提高了胰腺图像分割的准确率。
为实现上述目的，本公开采用如下技术方案：
第一方面，提出了基于双输入全卷积网络的胰腺图像分割方法，包括：
采集腹部图像；
对腹部图像进行预处理；
基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；
将胰腺初始图像和预处理后的腹部图像输入双输入全卷积网络模型中，获取胰腺图像。
第二方面，提出了基于双输入全卷积网络的胰腺图像分割系统，包括：
图像采集模块，用于获取腹部图像；
预处理模块，用于对腹部图像预处理；
胰腺初始图像提取模块，用于使用基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；
胰腺图像切割模块，用于将预处理后的腹部图像和胰腺初始图像输入至双输入全卷积网络模型中，获取胰腺图像。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成双输入全卷积网络的胰腺图像分割方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成双输入全卷积网络的胰腺图像分割方法所述的步骤。
与现有技术相比，本公开的有益效果为：
1、本公开的方法，基于对比度的图的视觉显着性算法从腹部图像中提取了胰腺初始图像，有效识别了胰腺的边界信息，从而在对胰腺图像分割时，能够对胰腺准确定位，提高了胰腺图像分割的准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本公开实施例1公开的双输入全卷积网络模型结构图；
图2为本公开实施例1公开的双输入全卷积网络模型中注意力机制原理图；
图3为本公开实施例1公开的双输入全卷积网络模型中空间转换和融合模块结构图；
图4为采用本公开实施例1公开方法获得的胰腺图像。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
实施例1
在该实施例中，公开了基于双输入全卷积网络的胰腺图像分割方法，包括：
采集腹部图像；
对腹部图像进行预处理；
基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；
将胰腺初始图像和预处理后的腹部图像输入双输入全卷积网络模型中，获取胰腺图像。
进一步的，基于对比度的图的视觉显着性算法提取胰腺初始图像的具体过程为：
基于对比度的图的视觉显着性算法提取腹部图像显著图；
计算腹部图像强度值；
将强度值和显著图相加获得胰腺初始图像。
进一步的，腹部图像强度值为：
分别计算腹部图像的R、G、B特征图强度；
将R、G、B特征图强度取平均值，获取腹部图像强度值。
进一步的，提取腹部图像显著图的具体过程为：
提取腹部图像的R、G、B和L特征图；
对R、G、B和L特征图执行高斯金字塔操作，形成四个特征金字塔，
从R、G、B和L特征图中提取获得CBY，CRG，L颜色特征金字塔；
利用L特征图获得方向特征图；
级联CBY，CRG，L颜色特征图和方向特征图，获得特征图M；
通过特征图M获得显著图。
进一步的，双输入全卷积网络模型采用在全卷积网络中添加引入注意力机制的密集跳跃连接结构训练获得。
进一步的，在全卷积网络中添加的密集跳跃连接结构包括在全卷积网络的编码器和解码器之间构建水平级别的密集连接和在编码器的不同层之间构建垂直级别的级联连接。
进一步的，双输入全卷积网络模型使用空间转换和融合模块来进行特征融合，空间转换和融合模块包括可变形的卷积层和多分支残差卷积块。
结合图1-4对本实施例公开的基于双输入全卷积网络的胰腺图像分割方法进行具体说明。
本公开提出的基于双输入全卷积网络的胰腺图像分割方法，包括：
获取腹部图像，该腹部图像为腹部CT扫描图像；
对腹部图像预处理；
基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；
将胰腺初始图像和预处理后的腹部图像输入双输入全卷积网络模型中，获取胰腺图像。
为了采用双输入以改善胰腺和其他软组织的对比度，特别是，为了掌握有关胰腺边界的更多信息，采用基于对比度的图的视觉显着性算法(GBVS算法)从腹部图像中提取胰腺初始图像。
由于胰腺在腹部CT图像中具有较低的组织对比度，且边界难以区分，本实施例使用两个输入来为双输入全卷积网络提供更多的特征信息，原始腹部CT图像作为网络的一个输入，网络的另一个输入是采用基于对比度的图的视觉显着性算法(GBVS算法)从腹部图像中提取胰腺初始图像，用来增强腹部CT图像的组织对比度。
采用GBVS算法从腹部图像中提取胰腺初始图像的具体过程为：
首先对腹部图像的红色R，绿色G，蓝色B和L＝max[max(R,G),B]四个特征图执行高斯金字塔操作，形成四个分别具有四个级别的特征金字塔，分别将其命名为R,G,B和L。
利用R,G,B和L特征图，通过定义CBY＝(B-min(R,G))/L]和CRG＝(|R-G|)/L，获得CBY，CRG，L颜色特征金字塔。
L特征图被Gabor滤波器操作，以获得方向特征orientation maps。
级联CBY，CRG，L颜色特征图和orientationmaps方向特征图，得到特征图M，其任意两个节点(a,b)和(c,d)之间的权重ω定义为：
ω((a,b),(c,d))＝d((a,b)||(c,d))·F(a-c,b-d) (1)
Figure BDA0002768446760000071
Figure BDA0002768446760000072
其中M(a,b)和M(c,d)分别是点(a,b)和(c,d)的特征值，σ是一个常量参数。
用归一化的权重ω在特征图M上定义马尔可夫链，初始显著图A是通过M上的马尔可夫链的稳定状态获得的。
最后，显著图Af是由初始显著图A和全连接图F的乘积来实现的。
为了进一步增强胰腺及其相邻结构之间的组织对比度，将原始腹部CT图像的强度值与显著图Af相加获得胰腺初始图像，将胰腺初始图像作为双输入全卷积网络的第二个输入，这种强度值的增加可以改善胰腺边界的清晰度。
腹部CT图像的强度值为：
分别计算腹部图像的R、G、B特征图强度；
将R、G、B特征图强度取平均值，获取腹部图像强度值。
卷积神经网络(CNN)在医学图像处理中显示出出色的性能，CNN可以通过自动从低级功能构建高级功能来了解功能的层次结构，此外，为了提取更详细的特征信息以进行小器官分割，本实施例的双输入全卷积网络模型，采用U-net网络结构，且在U-net上添加了密集的跳过路径，即编码器和解码器子网通过一系列密集的跳过路径连接，用于级联不同等级上的特征图，从而可以充分利用上下文信息，而密集连接可能导致模型重复提取相似的低级特征，从而导致计算冗余，故本实施例将使用具有注意力机制的嵌套密集连接的U-net作为核心架构来训练获得双输入全卷积网络模型，注意力机制用来合并多个特征图以突出显示感兴趣区域。
针对胰腺的解剖变异性较高的特点，双输入全卷积网络模型采用空间转换和融合模块来进行特征融合，以更好地捕获胰腺的几何信息，并且扩展的多分支可以更好地服务于特征图的融合。
由于不同个体之间的胰腺的形状和大小差异较大，解剖变异性较高，这些都是造成胰腺图像分割比较困难的主要原因，为了提取更详细的胰腺特征信息，在U-net上进行了密集跳跃连接(v-mesh连接)。
V-mesh由水平级别的密集连接和垂直级别的级联连接组成，这可以减小编码器和解码器特征之间的语义差距，还可以更有效地捕获前景对象的细节。
此外，为了突出对胰腺分割有用的特征，注意力机制被用于v-mesh连接，具体来说，全卷积网络的编码器部分包括四个卷积层和池化层模块(比如，σ0,0,σ1,0,σ2,0,σ3,0).
解码器由对应数量的模块组成，每个块包含一个反卷积操作，和一个卷积操作，像图2中的σ3,1,σ2,2,σ1,3,σ0,4结构。
另外空间转换和融合模块作为其中心层用来提取特征。
V-mesh不仅提供编码器和解码器之间水平级别的密集连接，即σ0,0和σ0,4，σ1,0和σ1,3，σ2,0和σ2,2，σ3,0和σ3,1之间，也在编码器部分的不同层之间构建垂直级别的级联连接，即σ1,0和σ0,1，σ1,1和σ0,2，σ1,2和σ0,3，σ1,3和σ0,4,σ2,0和σ1,1,σ2,1和σ1,2,σ2,2和σ1,3,σ3,0和σ2,1,σ3,1和σ2,2之间。
为了提取感兴趣特征，并减少密集连接可能会带来的特征计算冗余问题，在σi,0和σi,1(i＝0,1,2,3)之间采用了注意力机制：
如图3所示，将两个卷积核大小为1×1，步幅为1的卷积分别应用于σi,0和反卷积层输出的特征σi,1，然后，对生成的特征求和，紧接着使用ReLU激活函数，得到的求和后特征图再通过一个卷积核大小为1×1，步幅为1的卷积层处理，其后面接的是Sigmoid激活函数，之后，对其求和后特征图与σi,0进行同元素相乘操作，获得的特征图将作为下一步的输入参与网络的计算。
受几何结构限制的传统的卷积网络只能提供固定的几何变换，这不可避免地会丢失胰腺的一些空间信息，另外，在不同网络层计算出的特征之间可能存在语义差异。为此，本实施例提出了一种空间变换和融合模块，该模块具有动态的接收场，使网络能够灵活地检测缩放和转换，并为胰腺分割任务提供更好的辅助效果。
空间转换和融合模块包含一个可变形的卷积层，接着是一个多分支残差卷积块。具体地，可变形卷积运算是将传统的卷积从公式(5)的形式改变为公式(6)。
Figure BDA0002768446760000101
Figure BDA0002768446760000102
在特征图Y上每一个像素值α0,W(·)和X(·)对应于其权重和输入向量公式，αi是K上的定位，Δαi({Δαi|i＝1,2,..,N},N＝|K|)是偏移。
其中K＝{(-1，-1),(-1,0),(-1,1),(0,1),(0,0),(0,-1),(1,-1),(1,0),(1,1)}，代表感受野的大小和扩张。如果Δαi不是整数，它的分数位置将通过双线性插值法计算。
多分支残差卷积块包括三个分支(m1,m2,m3)：m1采用一个卷积核尺寸为1×1大小的卷积和一个3×3大小的卷积操作；m2使用一个卷积核尺寸为1×1大小的卷积；m3分别使用一个卷积核尺寸为1×1大小的卷积，一个5×5的和一个3×3卷积。
通过级联m2输出的特征，m1与m2相加的特征，和m3与m2相加的特征，可以得到该模块的最终输出特征图。
在具有12GB的NVIDIA Tesla P100 GPU的开源框架TensorFlow中对本实施例公开的基于双输入全卷积网络的胰腺图像分割方法进行验证，采用Adam算法进行0.9的动量优化，学习速率初始化为0.001，随着epoch的增加，学习速率以0.99的速率呈指数衰减，Batchsize大小为4，epoch设置为44，256×256大小的输入图像被归一化为[0，1]，NIH公开数据集共包括82个个体数据，使用四折交叉验证(4-CV)用于训练和测试双输入全卷积网络模型，故82个数据被划分为21、20、20和21，其中三折数据用作训练集，另一折数据用于测试。
在公开的NIH胰腺数据集上评估了对本实施例公开的基于双输入全卷积网络的胰腺图像分割方法进行验证。实验中评估指标分别为：骰子相似系数(DSC)，阳性预测值(PPV)，灵敏度(SEN)，平均表面距离(ASD)和Hausdorff距离(HD)，通过4折交叉验证之后，本实施例方法在82个个体数据上取得的均值分别为0.874±0.068、0.895±0.058、0.877±0.079、2.89±4.78和18.41±28.19，优于先前的方法。
图4为部分分割结果展示，左侧为腹部CT扫描切片，中间列红色部分是带label的胰腺展示，右侧列为本实施例公开方法分割结果展示图，其中指标值在对应图上做了标注。
本实施例公开的基于双输入全卷积网络的胰腺图像分割方法，采用双输入以改善胰腺和其他软组织的对比度，为了掌握有关边界的更多信息，通过添加特定的强度特征来提出特定于对比度的GBVS算法。
使用基于注意力机制的v-mesh FCN网络训练获得双输入全卷积神经网络模型，V-mesh连接旨在提取更多有用的功能并减少编码器和解码器子网之间的语义差别，此外，网络中采用了一种关注机制，旨在合并多个特征图以突出显示感兴趣区域(ROI)。
引入了一个空间转换和融合(SF)模块，以掌握更多胰腺的几何信息并促进特征图融合。SF模块具有动态的接收域，使网络能够灵活地检测缩放和变换，并为胰腺分割任务提供更好的辅助效果。它首先使用了一个可变形的卷积层，接着使用了一个多分支残差卷积块用来丰富特征。
实施例2
本实施例公开了基于双输入全卷积网络的胰腺图像分割系统，包括：
图像采集模块，用于获取腹部图像；
预处理模块，用于对腹部图像预处理；
胰腺初始图像提取模块，用于使用基于对比度的图的视觉显着性算法从腹部图像中提取胰腺初始图像；
胰腺图像切割模块，用于将预处理后的腹部图像和胰腺初始图像输入至双输入全卷积网络模型中，获取胰腺图像。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的基于双输入全卷积网络的胰腺图像分割方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的基于双输入全卷积网络的胰腺图像分割方法所述的步骤。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.基于双输入全卷积网络的胰腺图像分割方法，其特征在于，包括：
采集腹部图像；
对腹部图像进行预处理；
基于对比度的图的视觉显著性算法从腹部图像中提取胰腺初始图像；基于对比度的图的视觉显著性算法提取胰腺初始图像的具体过程为：
基于对比度的图的视觉显著性算法提取腹部图像显著图；
计算腹部图像强度值；
将强度值和显著图相加获得胰腺初始图像；
所述提取腹部图像显著图的具体过程为：
提取腹部图像的R、G、B和L特征图；
对R、G、B和L特征图执行高斯金字塔操作，形成四个特征金字塔，
利用R、G、B和L特征图，通过定义CBY＝(|B-min(R,G)|)/L]和CRG＝(|R-G|)/L，获得CBY，CRG，L颜色特征金字塔；
利用L特征图获得方向特征图；
级联CBY，CRG，L颜色特征图和方向特征图，获得特征图M，任意两个节点(a,b)和(c,d)之间的权重ω定义为：
ω((a,b),(c,d))＝d((a,b)P(c,d))·F(a-c,b-d)
Figure FDA0003751833260000011
Figure FDA0003751833260000021
其中M(a,b)和M(c,d)分别是点(a,b)和(c,d)的特征值，σ是一个常量参数；
用归一化的权重ω在特征图M上定义马尔可夫链，初始显著图A是通过M上的马尔可夫链的稳定状态获得的；
显著图Af是由初始显著图A和全连接图F的乘积来实现的；
将胰腺初始图像和预处理后的腹部图像输入双输入全卷积网络模型中，获取胰腺图像；双输入全卷积网络模型使用空间转换和融合模块来进行特征融合，空间转换和融合模块包括可变形的卷积层和多分支残差卷积块。
2.如权利要求1所述的基于双输入全卷积网络的胰腺图像分割方法，其特征在于，腹部图像强度值为：
分别计算腹部图像的R、G、B特征图强度；
将R、G、B特征图强度取平均值，获取腹部图像强度值。
3.如权利要求1所述的基于双输入全卷积网络的胰腺图像分割方法，其特征在于，双输入全卷积网络模型采用在全卷积网络中添加引入注意力机制的密集跳跃连接结构训练获得。
4.如权利要求3所述的基于双输入全卷积网络的胰腺图像分割方法，其特征在于，在全卷积网络中添加的密集跳跃连接结构包括在全卷积网络的编码器和解码器之间构建水平级别的密集连接和在编码器的不同层之间构建垂直级别的级联连接。
5.基于双输入全卷积网络的胰腺图像分割系统，采用权利要求1-4任一项所述的基于双输入全卷积网络的胰腺图像分割方法，其特征在于，包括：
图像采集模块，用于获取腹部图像；
预处理模块，用于对腹部图像预处理；
胰腺初始图像提取模块，用于使用基于对比度的图的视觉显著性算法从腹部图像中提取胰腺初始图像；
胰腺图像切割模块，用于将预处理后的腹部图像和胰腺初始图像输入至双输入全卷积网络模型中，获取胰腺图像。
6.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项所述的双输入全卷积网络的胰腺图像分割方法的步骤。
7.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项所述的双输入全卷积网络的胰腺图像分割方法的步骤。
CN202011241295.3A 2020-11-09 2020-11-09 基于双输入全卷积网络的胰腺图像分割方法及系统 Active CN112330642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011241295.3A CN112330642B (zh) 2020-11-09 2020-11-09 基于双输入全卷积网络的胰腺图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011241295.3A CN112330642B (zh) 2020-11-09 2020-11-09 基于双输入全卷积网络的胰腺图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN112330642A CN112330642A (zh) 2021-02-05
CN112330642B true CN112330642B (zh) 2022-11-04

Family

ID=74316967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011241295.3A Active CN112330642B (zh) 2020-11-09 2020-11-09 基于双输入全卷积网络的胰腺图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN112330642B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法
CN111260653A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 一种图像分割方法、装置、存储介质和电子设备
CN111640120A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799882A (zh) * 2012-07-09 2012-11-28 武汉市科迅智能交通设备有限公司 基于视觉显著性的车牌定位方法
CN109598692A (zh) * 2017-09-28 2019-04-09 南京敏光视觉智能科技有限公司 一种基于局部对比度显著性区域检测的缺陷检测方法
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法
CN111145170B (zh) * 2019-12-31 2022-04-22 电子科技大学 一种基于深度学习的医学影像分割方法
CN111583284B (zh) * 2020-04-22 2021-06-22 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
CN111860528B (zh) * 2020-06-16 2022-08-26 南京邮电大学 基于改进U-Net网络的图像分割模型及训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法
CN111640120A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111260653A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 一种图像分割方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN112330642A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
Amirkolaee et al. Height estimation from single aerial images using a deep convolutional encoder-decoder network
Tang et al. Pixel convolutional neural network for multi-focus image fusion
CN110443842B (zh) 基于视角融合的深度图预测方法
Bai et al. Deep watershed transform for instance segmentation
Tang et al. An augmentation strategy for medical image processing based on statistical shape model and 3D thin plate spline for deep learning
CN113012172B (zh) 一种基于AS-UNet的医学图像分割方法及系统
Leclerc et al. LU-Net: a multistage attention network to improve the robustness of segmentation of left ventricular structures in 2-D echocardiography
Zhang et al. ST-unet: Swin transformer boosted U-net with cross-layer feature enhancement for medical image segmentation
Zhang et al. Progressive hard-mining network for monocular depth estimation
CN112465827A (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112001928B (zh) 一种视网膜血管分割方法及系统
CN110852987B (zh) 基于深形态学的血管斑块检测方法、设备及存储介质
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Ninh et al. Skin lesion segmentation based on modification of SegNet neural networks
Chen et al. Skin lesion segmentation using recurrent attentional convolutional networks
Qiu et al. Inferring skin lesion segmentation with fully connected CRFs based on multiple deep convolutional neural networks
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Lin et al. Lateral refinement network for contour detection
Xu et al. AutoSegNet: An automated neural network for image segmentation
Lee et al. Tubule segmentation of fluorescence microscopy images based on convolutional neural networks with inhomogeneity correction
Luo et al. An optimized two-stage cascaded deep neural network for adrenal segmentation on CT images
Lee et al. Segmentation of surgical instruments in laparoscopic videos: training dataset generation and deep-learning-based framework
Zhang et al. R2Net: Residual refinement network for salient object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant