CN112489062B - 基于边界及邻域引导的医学图像分割方法及系统 - Google Patents
基于边界及邻域引导的医学图像分割方法及系统 Download PDFInfo
- Publication number
- CN112489062B CN112489062B CN202011434776.6A CN202011434776A CN112489062B CN 112489062 B CN112489062 B CN 112489062B CN 202011434776 A CN202011434776 A CN 202011434776A CN 112489062 B CN112489062 B CN 112489062B
- Authority
- CN
- China
- Prior art keywords
- neighborhood
- boundary
- network
- segmentation
- guiding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003709 image segmentation Methods 0.000 title claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 230000003902 lesion Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 208000037062 Polyps Diseases 0.000 claims description 5
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边界及邻域引导的医学图像分割方法,包括以下步骤:1)对原始医学图像数据进行预处理,形成训练数据集;2)构建U型基线分割网络;3)构建边界及邻域引导模块;4)构建多尺度自适应选择模块;5)构建边界及邻域引导分割网络;6)对边界及邻域引导分割网络进行训练;7)对待处理的医学图像进行病变区域自动分割。本发明通过使用边界及邻域引导模块来提高网络对病变邻域区域的关注度,能充分地提取病变区域的边界及邻域信息,使用多尺度自适应选择模块来获取多尺度的上下文信息并探索一种最有效的融合方式,通过结合边界及邻域引导模块和多尺度自适应选择模块能有效提高全卷积神经网络在医学图像分割处理上的性能。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种基于边界及邻域引导的医学图像分割方法及系统。
背景技术
医学图像的自动分割是医学图像分析的基础,也是计算机辅助诊断的关键一步。如消化道内窥镜图像的息肉分割,以及皮肤镜图像的病变区域分割。分割区域的形状、外观及位置对胃肠道及皮肤疾病的早期诊断具有重要意义。虽然基于全卷积神经网络的方法在许多医学图像分割任务中取得了优异的性能,但是由于病变区域与周围组织对比度低,存在边界模糊/缺失、形状多变,大小不一等问题,病变区域的准确分割仍然存在挑战。因此,值得去研究设计一种通用的医学图像分割方法。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于边界及邻域引导的医学图像分割方法及系统。
为解决上述技术问题,本发明采用的技术方案是:提供一种基于边界及邻域引导的医学图像分割方法,包括以下步骤:
1)对采集的原始医学图像数据进行预处理,形成训练数据集;
2)构建U型基线分割网络;
3)构建边界及邻域引导模块;
4)构建多尺度自适应选择模块;
5)通过将所述边界及邻域引导模块、多尺度自适应选择模块插入所述U型基线分割网络中,构建得到边界及邻域引导分割网络;
6)利用所述训练数据集对所述边界及邻域引导分割网络进行训练;
7)利用训练后的边界及邻域引导分割网络对待处理的医学图像进行病变区域自动分割。
优选的是,所述步骤1)中采集的医学图像包括消化道内窥镜图像的息肉分割数据集和皮肤镜图像的病变区域分割数据集;其中,预处理包括图像尺寸调整、像素值归一化处理以及图像增强处理;
所述U型基线分割网络包括编码单元和解码单元,所述编码单元为残差网络ResNet50。
优选的是,所述边界及邻域引导模块包括邻域引导单元和形状感知单元;
所述邻域引导单元用于引导整个边界及邻域引导分割网络关注病变区域的邻域区域,处理方法为:所述邻域引导单元利用提取到的原始特征图预测得到一个邻域概率图,使用相对应尺度的邻域图金标准与该邻域概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的邻域概率图;然后使用邻域概率图与原始特征图相乘,得到邻域区域加强的特征图;
所述形状感知单元用于引导整个边界及邻域引导分割网络关注病变区域的边界区域,处理方法为:所述形状感知单元利用提取到的原始特征图预测得到一个边界概率图,使用相对应尺度的边界图金标准与该边界概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的边界概率图;然后将原始特征图、邻域区域加强的特征图和边界概率图相加,得到边界及邻域均加强后的特征图,并作为输出。
优选的是,其中,边界概率图和邻域概率图中使用的损失函数分别定义为:
Le=-Ge·log Pe-(1-Ge)log(1-Pe);
Ln=-Gn·log Pn-(1-Gn)log(1-Pn);
其中,Pe和Pn分别表示边界概率图和邻域概率图,Ge和Gn分别表示边界图金标准和邻域图金标准,Le表示边界概率图和边界图金标准之间的交叉熵损失,Ln表示邻域概率图和邻域图金标准之间的交叉熵损失。
优选的是,所述多尺度自适应选择模块包括3个扩张率不同的空洞卷积块、1×1卷积层、全局平均池化层、1个一维通道注意力层和残差连接层;
所述多尺度自适应选择模块的处理方法为:
针对输入的图像,通过3个扩张率不同的空洞卷积块捕捉不同尺度的上下文信息,然后把三个尺度的特征在通道维度连接起来,使用1×1卷积层来融合不同尺度的特征,得到融合的特征图;
基于融合的特征图,通过全局平均池化层聚合每个通道的特征图的空间信息,生成通道维度的向量;
通过一维通道注意力层建立不同尺度的特征图之间的通道依赖关系的模型,从而生成各通道的权重;然后将通道的权重与不同尺度的特征图相乘,得到的结果再通过残差连接层与输入的图像相加,得到融合有不同尺度上下文信息的特征图。
优选的是,所述步骤5)具体包括:
在所述U型基线分割网络的编码单元中插入1个所述边界及邻域引导模块,在所述U型基线分割网络的解码单元中插入2个所述边界及邻域引导模块,在所述编码单元和解码单元的连接处插入1个所述多尺度自适应选择模块。
优选的是,所述步骤6)具体包括:将训练数据集、针对原始医学图像数据的分割金标准、边界图金标准和邻域图金标准输入边界及邻域引导分割网络中进行训练,将边界及邻域引导分割网络与边界及邻域引导模块两部分的损失之和作为最终的总损失函数,反向传播更新参数,引导整个网络的优化,获得训练后的边界及邻域引导分割网络;
其中的总损失函数定义为:
Ltotal=LDice+λLBCE;
其中,LDice是分割网络最后一层输出预测结果的损失函数,k表示每个训练数据样本,N为训练数据的样本总数,Pk表示网络的输出概率图,Gk表示针对原始医学图像数据的分割金标准;LBCE是交叉熵损失,Lni和Lei分别是邻域图和边界图的损失;Ltotal表示整个边界及邻域引导分割网络的总损失,其中λ为权重参数。
本发明还提供一种基于边界及邻域引导的医学图像分割系统,其采用如上所述的方法进行医学图像病变区域的分割。
本发明还提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如上所述的方法。
本发明还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上所述的方法。
本发明的有益效果是:
本发明通过使用边界及邻域引导模块来提高网络对病变邻域区域的关注度,能充分地提取病变区域的边界及邻域信息,本发明使用多尺度自适应选择模块来获取多尺度的上下文信息并探索一种最有效的融合方式,通过结合边界及邻域引导模块和多尺度自适应选择模块能有效提高全卷积神经网络在医学图像分割处理上的性能;
本发明充分地利用了边界及邻域信息,能够很好地解决医学图像分割任务中普遍存在的弱边界问题,可实现多种医学图像的准确分割。
附图说明
图1为本发明的实施例中的基于边界及邻域引导的医学图像分割方法的流程图;
图2为本发明的实施例中的边界及邻域引导分割网络的架构图;
图3为本发明的实施例中对皮肤镜图像的分割结果;
图4为本发明的实施例中内窥镜图像的分割结果;
图5为本发明的实施例中对病灶边界模糊的图像的分割结果;
图6为本发明的实施例中的常规的残差网络ResNet50的架构图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
参照图1,本实施例的一种基于边界及邻域引导的医学图像分割方法,包括以下步骤:
S1、对采集的原始医学图像数据进行预处理,形成训练数据集
本实施例中采集了两个医学图像数据集:消化道内窥镜图像的息肉分割数据集和皮肤镜图像的病变区域分割数据集,并对其进行包括图像尺寸调整、像素值归一化处理以及图像增强处理在内的预处理操作。皮肤镜图像的病变区域分割图像的尺寸从540×576到6688×6780大小不一,消化道内窥镜图像的息肉分割图像的尺寸为384×288,为了加快网络的读取速度与计算效率,将两个数据集的图像尺寸全部调整为192×256,同时保持图像原有的长宽比,并且将RGB三个通道的像素值从0-255归一化到0-1之间。其中,数据增强处理使用:随机水平翻转、垂直翻转,随机-90度到90度旋转等在线数据增强方法。
S2、构建U型基线分割网络
本实施例通过对常规UNet网络进行改进,得到了U型基线分割网络。UNet网络为包括编码单元、解码单元的“U”字型网络;常规UNet网络的编码单元是由一系列的卷积层、批归一化层、非线性激活函数Relu以及最大池化层构成,解码单元是由多个反卷积层和卷积层构成。本实施例中,UNet网络的编码单元保持不变,仅对UNet网络的解码单元进行改进,具体为:使用残差网络ResNet50代替UNet网络的解码单元。参照图6,常规的残差网络ResNet50由一个7×7卷积层(Conv7×7)、四个基于残差连接的卷积块(Block1、Block2、Block3、Block4)和最后的全连接层(FC)构成。经过第一个7×7卷积层和每个卷积块后,图像的尺寸都会相应的变为之前的1/2。为了兼容性以及保持更多高分辨率的细节信息,本实施例中,将ResNet50的第一个7×7卷积层替换为两个保持尺寸的3×3卷积层,并移去了最后的全连接层,这样可以提升最终获得的U型基线分割网络的特征提取能力并且可以避免梯度消失和梯度爆炸现象。
S3、构建边界及邻域引导模块
本实施例中,通过构建边界及邻域引导模块来充分利用病变区域的边界及邻域信息来提升分割网络的准确度。其中,边界及邻域引导模块包括邻域引导单元和形状感知单元;
邻域引导单元用于引导整个边界及邻域引导分割网络关注病变区域的邻域区域,处理方法为:邻域引导单元利用提取到的原始特征图预测得到一个邻域概率图,使用相对应尺度的邻域图金标准与该邻域概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的邻域概率图;然后使用邻域概率图与原始特征图相乘,得到邻域区域加强的特征图;
形状感知单元用于引导整个边界及邻域引导分割网络关注病变区域的边界区域,处理方法为:形状感知单元利用提取到的原始特征图预测得到一个边界概率图,使用相对应尺度的边界图金标准与该边界概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的边界概率图;然后将原始特征图、邻域区域加强的特征图和边界概率图相加,得到边界及邻域均加强后的特征图,并作为输出。
其中,边界概率图和邻域概率图中使用的损失函数分别定义为:
Le=-Ge·log Pe-(1-Ge)log(1-Pe);
Ln=-Gn·log Pn-(1-Gn)log(1-Pn);
其中,Pe和Pn分别表示边界概率图和邻域概率图,Ge和Gn分别表示边界图金标准和邻域图金标准,Le表示边界概率图和边界图金标准之间的交叉熵损失,Ln表示邻域概率图和邻域图金标准之间的交叉熵损失。
本实施例中,通过在整个分割网络框架中使用了多个边界及邻域引导模块,能够在多个阶段充分地挖掘、利用病变区域的边界及邻域信息,并建立长期的依赖关系,提高分割结果在边界模糊区域的准确度。
S4、构建多尺度自适应选择模块
本实施例中通过构建多尺度自适应选择模块来充分捕获多尺度的上下文信息并探索一种有效的多尺度信息融合方式。多尺度自适应选择模块包括3个扩张率不同的空洞卷积块、1×1卷积层、全局平均池化层、1个一维通道注意力层和残差连接层。
其中,多尺度自适应选择模块的处理方法为:
针对输入的图像,通过3个扩张率不同的空洞卷积块捕捉不同尺度的上下文信息,然后把三个尺度的特征在通道维度连接起来,使用1×1卷积层来融合不同尺度的特征,得到融合的特征图;
基于融合的特征图,通过全局平均池化层聚合每个通道的特征图的空间信息,生成通道维度的向量;
通过一维通道注意力层建立不同尺度的特征图之间的通道依赖关系的模型,从而生成各通道的权重;然后将通道的权重与不同尺度的特征图相乘,得到的结果再通过残差连接层与输入的图像相加,得到融合有不同尺度上下文信息的特征图。
其中,一维通道注意力层不仅能够有效降低参数量,还能够保证充分的局部跨通道交互,显著提升模型的性能。
本实施例中,通过设计多尺度自适应选择模块,并放置在U型基线分割网络的编码单元与单元中间,通过自学习来更新参数,探索更有效的多尺度上下文信息融合方式。
S5、通过将边界及邻域引导模块、多尺度自适应选择模块插入U型基线分割网络中,构建得到边界及邻域引导分割网络
为了在整个网络的多个阶段充分地提取边界及邻域信息,本实施例使用了三个边界及邻域引导模块,在U型基线分割网络的编码单元中插入1个边界及邻域引导模块,在U型基线分割网络的解码单元中插入2个边界及邻域引导模块,多个边界及邻域引导模块能够建模长期的依赖关系,引导着整个分割网络逐渐地关注病灶边界及邻域信息,利用邻域内的空间及纹理信息来获取更加准确的病灶边界。
多尺度自适应选择模块设置在编码单元和解码单元的连接处,其能够捕捉多尺度的上下文信息,提升网络的识别能力。并且多尺度自适应选择模块引入了一个先进的一维通道注意力层,能够自适应地衡量不同尺度特征对最终分割结果的贡献,探索、寻找到一种最有效的多尺度融合方式。多尺度自适应选择模块通过自学习更新参数,引导整个分割网络的优化。
参照图2为边界及邻域引导分割网络的架构图。
S6、利用训练数据集对边界及邻域引导分割网络进行训练
具体方法为:将训练数据集、针对原始医学图像数据的分割金标准、边界图金标准和邻域图金标准输入边界及邻域引导分割网络中进行训练,将边界及邻域引导分割网络与边界及邻域引导模块两部分的损失之和作为最终的总损失函数,反向传播更新参数,引导整个网络的优化,获得训练后的边界及邻域引导分割网络;
其中的总损失函数定义为:
Ltotal=LDice+λLBCE;
其中,LDice是分割网络最后一层输出预测结果的损失函数,k表示每个训练数据样本,N为训练数据的样本总数,Pk表示网络的输出概率图,Gk表示针对原始医学图像数据的分割金标准;LBCE是交叉熵损失,Lni和Lei分别是邻域图和边界图的损失;Ltotal表示整个边界及邻域引导分割网络的总损失,其中λ为权重参数。
S7、利用训练后的边界及邻域引导分割网络对待处理的医学图像进行病变区域自动分割
对待处理的医学图像进行处理时,只需输入待处理图片,不需要输入针对原始医学图像数据的分割金标准、边界图金标准与邻域图金标准,边界及邻域引导分割网络会自动根据测试图片,分割出病灶区域。
参照图3为利用实施例1的方法对皮肤镜图像的分割结果,参照图4为利用实施例1的方法对内窥镜图像的分割结果,从图3和图4的结果可以看出,实施例1的分割结果与金标准基本接近。参照图5为利用实施例1的方法对病灶边界模糊的图像的分割结果,可以看出,实施例1的方法在病灶边界模糊处有着很高的精度。
本实施例还提供一种基于边界及邻域引导的医学图像分割系统,其采用如实施例1的方法进行医学图像病变区域的分割。
本实施例还提供一种存储介质,其上存储有计算机程序,该程序被执行时用于实现实施例1的方法。
本实施例还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现实施例1的方法。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。
Claims (5)
1.一种基于边界及邻域引导的医学图像分割方法,其特征在于,包括以下步骤:
步骤1)对采集的原始医学图像数据进行预处理,形成训练数据集;
步骤2)构建U型基线分割网络;
步骤3)构建边界及邻域引导模块;
步骤4)构建多尺度自适应选择模块;
步骤5)通过将所述边界及邻域引导模块、多尺度自适应选择模块插入所述U型基线分割网络中,构建得到边界及邻域引导分割网络;
步骤6)利用所述训练数据集对所述边界及邻域引导分割网络进行训练;
步骤7)利用训练后的边界及邻域引导分割网络对待处理的医学图像进行病变区域自动分割;
所述步骤1)中采集的医学图像包括消化道内窥镜图像的息肉分割数据集和皮肤镜图像的病变区域分割数据集;其中,预处理包括图像尺寸调整、像素值归一化处理以及图像增强处理;
所述U型基线分割网络包括编码单元和解码单元,所述编码单元为残差网络ResNet50;
所述边界及邻域引导模块包括邻域引导单元和形状感知单元;
所述邻域引导单元用于引导整个边界及邻域引导分割网络关注病变区域的邻域区域,处理方法为:所述邻域引导单元利用提取到的原始特征图预测得到一个邻域概率图,使用相对应尺度的邻域图金标准与该邻域概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的邻域概率图;然后使用邻域概率图与原始特征图相乘,得到邻域区域加强的特征图;
所述形状感知单元用于引导整个边界及邻域引导分割网络关注病变区域的边界区域,处理方法为:所述形状感知单元利用提取到的原始特征图预测得到一个边界概率图,使用相对应尺度的边界图金标准与该边界概率图计算损失,得到误差并反向传播更新特征图,进一步得到更准确的边界概率图;然后使用边界概率图与原始特征图相乘,得到边界区域加强的特征图;最后将原始特征图、邻域区域加强的特征图和边界加强的特征图相加,得到边界及邻域均加强后的特征图,并作为输出;
所述多尺度自适应选择模块包括3个扩张率不同的空洞卷积块、1×1卷积层、全局平均池化层、1个一维通道注意力层和残差连接层;
所述多尺度自适应选择模块的处理方法为:
针对输入的图像,通过3个扩张率不同的空洞卷积块捕捉不同尺度的上下文信息,然后把三个尺度的特征在通道维度连接起来,使用1×1卷积层来融合不同尺度的特征,得到融合的特征图;
基于融合的特征图,通过全局平均池化层聚合每个通道的特征图的空间信息,生成通道维度的向量;
通过一维通道注意力层建立不同尺度的特征图之间的通道依赖关系的模型,从而生成各通道的权重;然后将通道的权重与不同尺度的特征图相乘,得到的结果再通过残差连接层与输入的图像相加,得到融合有不同尺度上下文信息的特征图;
所述步骤5)具体包括:
在所述U型基线分割网络的编码单元中插入1个所述边界及邻域引导模块,在所述U型基线分割网络的解码单元中插入2个所述边界及邻域引导模块,在所述编码单元和解码单元的连接处插入1个所述多尺度自适应选择模块。
2.根据权利要求1所述的基于边界及邻域引导的医学图像分割方法,其特征在于,其中,边界概率图和邻域概率图中使用的损失函数分别定义为:
Le=-Ge·log Pe-(1-Ge)log(1-Pe);
Ln=-Gn·log Pn-(1-Gn)log(1-Pn);
其中,Pe和Pn分别表示边界概率图和邻域概率图,Ge和Gn分别表示边界图金标准和邻域图金标准,Le表示边界概率图和边界图金标准之间的交叉熵损失,Ln表示邻域概率图和邻域图金标准之间的交叉熵损失。
3.根据权利要求2所述的基于边界及邻域引导的医学图像分割方法,其特征在于,所述步骤6)具体包括:将训练数据集、针对原始医学图像数据的分割金标准、边界图金标准和邻域图金标准输入边界及邻域引导分割网络中进行训练,将边界及邻域引导分割网络与边界及邻域引导模块两部分的损失之和作为最终的总损失函数,反向传播更新参数,引导整个网络的优化,获得训练后的边界及邻域引导分割网络;
其中的总损失函数定义为:
Ltotal=LDice+λLBCE;
其中,LDice是分割网络最后一层输出预测结果的损失函数,k表示每个训练数据样本,N为训练数据的样本总数,Pk表示网络的输出概率图,Gk表示针对原始医学图像数据的分割金标准;LBCE是交叉熵损失,Lni和Lei分别是邻域图和边界图的损失;Ltotal表示整个边界及邻域引导分割网络的总损失,其中λ为权重参数。
4.一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如权利要求1-3中任意一项所述的方法。
5.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-3中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011434776.6A CN112489062B (zh) | 2020-12-10 | 2020-12-10 | 基于边界及邻域引导的医学图像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011434776.6A CN112489062B (zh) | 2020-12-10 | 2020-12-10 | 基于边界及邻域引导的医学图像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112489062A CN112489062A (zh) | 2021-03-12 |
CN112489062B true CN112489062B (zh) | 2024-01-30 |
Family
ID=74940962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011434776.6A Active CN112489062B (zh) | 2020-12-10 | 2020-12-10 | 基于边界及邻域引导的医学图像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112489062B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223008A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 基于多尺度引导注意网络的眼底图像分割方法及系统 |
CN113593672B (zh) * | 2021-04-23 | 2022-11-01 | 安徽医科大学第一附属医院 | 一种放疗靶区智能勾画方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260982A (zh) * | 2015-11-06 | 2016-01-20 | 北京航空航天大学 | 基于稀疏和稠密重构的图像解析方法 |
WO2016032398A2 (en) * | 2014-08-25 | 2016-03-03 | Singapore University Of Technology And Design | Method and device for analysing an image |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109389585A (zh) * | 2018-09-20 | 2019-02-26 | 东南大学 | 一种基于全卷积神经网络的脑组织提取方法 |
CN110378875A (zh) * | 2019-06-18 | 2019-10-25 | 中国科学院苏州生物医学工程技术研究所 | 基于机器学习算法的体内尿路结石成分鉴别方法 |
CN111724401A (zh) * | 2020-05-08 | 2020-09-29 | 华中科技大学 | 一种基于边界约束级联U-Net的图像分割方法和系统 |
CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245659B (zh) * | 2019-05-21 | 2021-08-13 | 北京航空航天大学 | 基于前背景相互关系的图像显著对象分割方法及装置 |
-
2020
- 2020-12-10 CN CN202011434776.6A patent/CN112489062B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016032398A2 (en) * | 2014-08-25 | 2016-03-03 | Singapore University Of Technology And Design | Method and device for analysing an image |
CN105260982A (zh) * | 2015-11-06 | 2016-01-20 | 北京航空航天大学 | 基于稀疏和稠密重构的图像解析方法 |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109389585A (zh) * | 2018-09-20 | 2019-02-26 | 东南大学 | 一种基于全卷积神经网络的脑组织提取方法 |
CN110378875A (zh) * | 2019-06-18 | 2019-10-25 | 中国科学院苏州生物医学工程技术研究所 | 基于机器学习算法的体内尿路结石成分鉴别方法 |
CN111724401A (zh) * | 2020-05-08 | 2020-09-29 | 华中科技大学 | 一种基于边界约束级联U-Net的图像分割方法和系统 |
CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
Non-Patent Citations (1)
Title |
---|
改进的卷积神经网络在医学图像分割上的应用;刘辰;计算机科学与探索;2019, 13(09);1593-1603 * |
Also Published As
Publication number | Publication date |
---|---|
CN112489062A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN112446834B (zh) | 图像增强方法和装置 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
CN109949255A (zh) | 图像重建方法及设备 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN114419020B (zh) | 医学图像分割方法、装置、计算机设备及存储介质 | |
CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
CN114897094A (zh) | 一种基于注意力双支路特征融合的食管早癌病灶分割方法 | |
CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
CN115457057A (zh) | 一种采用深监督策略的多尺度特征融合腺体分割方法 | |
CN115223193B (zh) | 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 | |
CN114049314A (zh) | 一种基于特征重排和门控轴向注意力的医学图像分割方法 | |
CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、系统 | |
CN116363081A (zh) | 基于深度神经网络的胎盘植入mri征象检测分类方法及装置 | |
CN114037699B (zh) | 一种病理图像分类方法、设备、系统及存储介质 | |
CN116258933A (zh) | 基于全局信息感知的医学图像分割装置 | |
CN110827963A (zh) | 针对病理图像的语义分割方法和电子设备 | |
CN117557791A (zh) | 结合选择性边缘聚合和深度神经网络的医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |