CN114565628B - 一种基于边界感知注意的图像分割方法及系统 - Google Patents
一种基于边界感知注意的图像分割方法及系统 Download PDFInfo
- Publication number
- CN114565628B CN114565628B CN202210288579.0A CN202210288579A CN114565628B CN 114565628 B CN114565628 B CN 114565628B CN 202210288579 A CN202210288579 A CN 202210288579A CN 114565628 B CN114565628 B CN 114565628B
- Authority
- CN
- China
- Prior art keywords
- attention
- segmentation
- output
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000002224 dissection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于边界感知注意的图像分割方法及系统。在现有分割任务的基础上,添加了一个边缘预测的辅助任务,两个任务共享同一个特征编码网络,但独享自己的特征解码网络;特征解码网络由一组基于交互注意力机制的注意力解码单元串联组成;在编码网络和分割解码网络之间设计了多个边缘感知分割模块,旨在从边缘解码网络中引入边缘信息作为增强分割特征边缘部分的强线索;融合所述的编码网络、解码网络和边缘感知分割模块,得到最终的分割网络,两个任务联合训练、相互引导和辅助。相比于现有的图像分割方法,本发明可以大大提高分割的准确度,并提升分割结果的边缘细节。
Description
技术领域
本发明属于计算机视觉领域,涉及一种基于边界感知注意的图像分割方法及系统。
背景技术
近年来,随着人工智能的不断发展,以卷积神经网络为代表的深度学习技术开始展露锋芒,广泛应用于生产生活中的方方面面和各个领域,形成了各种各样的“AI+”模式。现有的深度学习技术在图像处理中,表现出较强的可行性,其中代表性的方向就是图像分割,对应于计算机视觉四大任务中的语义分割。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割是图像处理与理解、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题,是计算机视觉技术中关键步骤,在生活中有着方方面面的应用,比如自然场景的自动驾驶技术,需要分割技术提供场景识别结果,进而执行相应的决策;在医学场景下,通过对皮肤病变的分割,可以获取病变的掩码位置,进而可以辅助分类任务的精准识别,此外,通过对病变在图像区域中大小的识别,结合相应的拍摄视场,可以分析病变趋势,辅助医生进行病变分析。
在现有的图像分割方法中,虽然基于深度学习的方法相较于传统视觉方法,具有更强的分割性能,但是对于边界模糊的图像,却依旧存在分割边缘不准确的问题。此外,分割的结果很大程度上极易受图像背景的干扰,进而大大影响图像分割的性能。
发明内容
为解决上述技术问题,本发明公开了一种基于边界感知注意的图像分割方法及系统,本发明可以大大提高分割的准确度,并提升分割结果的边缘细节。
本发明解决其技术问题所采用的技术方案是:
一种基于边界感知注意的图像分割系统,包括公共特征编码网络,所述公共特征编码网络包括若干n个串联的残差块,其中上一级残差块的输出作为下一级残差块的输入;每个残差块通讯连接一个注意力解码单元和一个边缘感知分割模块,边缘感知分割模块通信连接一个分割解码网络模块;注意力解码单元依次串联形成预测解码网络;分割解码网络模块依次串联形成分割解码网络;公共特征编码网络的第n个残差块通讯连接有两个空洞空间金字塔池化模块,其中第n个残差块的输出和一个空洞空间金字塔池化模块的输出作为第n个注意力解码单元的输入;第n分割残差块的输出作为第n个边缘感知分割模块的输入,第n个边缘感知分割模块的输出和另一个空洞空间金字塔池化模块的输出做为第n个分割解码网络模块的输入;其中第i个注意力解码单元的输入为第i个残差块的输出和第i+1个注意力解码单元的输出;所述第i个边缘感知分割模块的输入为第i个残差块的输出和第i个注意力解码单元的输出;第i个分割解码网络模块的输入为第i个边缘感知分割模块的输出和第i+1个分割解码网络模块的输出;第i个残差块的输入为初始图像或第i-1个残差块的输出;其中1≤i<n。
进一步的改进,n=4。
进一步的改进,所述公共特征编码网络以ResNet50网络作为编码网络的骨干网络原型,并去除最后的全连接层和分类层,保留剩余的卷积块和残差块;且ResNet50网络最后两个残差块中的卷积核步幅设置为1,使得编码网络后续残差模块的输出特征图的大小不变,编码网络最终输出的特征图的高宽是输入图像的1/8。
进一步的改进,第i个注意力解码单元的图像处理流程为:第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I1,以第i个残差块的输出作为高分率输入特征图I2;先将低分辨率的特征图I1通过1*1的卷积,将特征图通道调整为与高分率输入特征图I2相同的大小,得到特征图F1;将特征图F1上采样至与高分率输入特征图I2相同的大小,得到特征图F2;对特征图F1和F2执行通道维度的拼接,对拼接后的特征进行一次3*3的卷积操作以得到特征图F3,卷积核的数量与特征图F2的通道数量一致,保证特征图F3的通道数量与特征图F1和特征图F2一致;对特征图F3执行一次sigmoid操作,将特征图F3所有的特征值归一化到0-1之间,得到注意力图谱Att-Map;执行注意力操作,将注意力图谱Att-Map分别与F1和F2做点乘操作,分别得到关注后的特征图F1 *和F2 *;最后对关注后的特征图F1 *、F2 *以及特征图F3执行点加操作,得到注意力解码单元的最终输出特征图Fout。
进一步的改进,第i个边缘感知分割模块的图像处理流程为:以第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出公共编码网络模块的输出作为特征图Xseg,以第i个注意力解码单元的输出作为边缘解码网络中注意力解码单元的输出作为特征图Xedge;对特征图Xseg执行1*1的卷积操作,将通道数调整为与特征图Xedge通道数相同,得到特征图Xseg 1;将特征图Xseg 1与特征图Xedge做点乘的注意力操作,得到注意后的边界注意力特征;对特征图Xseg 1执行sigmoid操作,归一化到0-1之间,并与自身执行点乘操作,得到自注意力后的特征,并将自注意力后的特征与边界注意力特征执行点加操作,得到综合注意力特征X+;对综合注意力特征执行一次3*3的卷积操作,输出的边界增强特征图Xf;第i个分割解码网络模块图像处理流程为:第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I1,以第i个边缘感知分割模块的输出作为高分率输入特征图I2,其余步骤与注意力解码单元的图像处理流程相同。
进一步的改进,对预测解码网络的最终输出和分割解码网络的最终输出均依次执行上采样、3*3卷积、sigmoid激活操作,分别得到分割的预测概率图Ps和边缘的预测概率图Pe;对网络预测的输出:分割的预测概率图Ps和边缘的预测概率图Pe,选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值,将分割概率图和边缘概率图的差异值按照1:1的比例求和作为网络训练的损失函数,使用随机梯度下降的方法迭代最小化损失函数,每次迭代得到优化网络权重参数的基于边界感知注意的图像分割模型;依据优化指标从所有迭代训练中得到的基于边界感知注意的图像分割模型中选择得到最终的基于边界感知注意的图像分割模型。
进一步的改进,所述上采样的算法为双线性插值操作或反卷积操作。
进一步的改进,所述sigmoid激活操作选用的sigmoid激活函数用于非线性地将特征图中的值分别映射到0-1之间,计算公式为:
其中,x表示输入特征图,σ(x)表示sigmoid激活函数,e表示自然常数。
进一步的改进,所述交叉熵损失函数BCE(P,G)如下所示:
其中,P表示网络预测的概率图,G表示对应任务的标签图,N表示像素点的数量,Pj和Gj分别表示P和G中第j个像素值;Dice损失函数Dice(P,G)如下所示:
所述选取的优化指标为Dice相似系数Dice、Jaccard相似系数JA和准确率ACC中的一个,计算公式如下:
其中,TP表示标签为正被分类为正的数目;FN表示标签为正被分类为负的数目,TN表示标签为负被分类为负的数目;FP表示标签为负被分类为正的数目。
一种基于边界感知注意的图像分割方法,将初始图像输入上述的基于边界感知注意的图像分割系统,得到初始图像的分割的预测概率图Ps和边缘的预测概率图Pe。
本发明的优点:
1.针对现有图像分割算法存在受背景干扰大和边界预测模糊的问题,在分割任务的基础上引入了边缘预测的辅助任务,并提出了基于边界感知注意的边界感知分割模块,将边缘预测的信息引入到分割任务中,从而增强分割结果的边界信息;提出了基于交互注意力机制的注意力解码单元,深度融合编码网络和解码网络的特征,更加关注与图像中有鉴别性的区域,从而解决背景复杂干扰大的问题。
2.相比于现有的图像分割算法,本发明的分割算法的分割结果具有更加丰富的边界信息,分割区域更关注于图像中的目标位置,具有极高的分割精度。此外相比于针对特定场景设计的分割算法,该算法的灵活度更高,能完成不同场景下的图像分割任务。
附图说明
图1为基于边界感知注意的图像分割算法的网络架构图,其中,up表示上采样(双线性插值),Basm表示边缘感知分割模块,ASPP表示空洞空间卷积池化金字塔,Decoder-ATUnit表示注意力解码单元。
图2为基于边界感知注意的边缘感知分割模块结构图。
具体实施方式
以下结合实施例对本发明作进一步说明。
实施例1
一种基于边界感知注意的图像分割方法,该方法的框架图如附图1所示,包括以下步骤:
S1、建立图像分割和图像边缘预测的公共特征编码网络,具体实施方法为:
选取ResNet50网络作为编码网络的骨干网络原型,并去除最后的全连接层和分类层,保留剩余的卷积块和4个残差块;将ResNet50网络最后两个残差块中的卷积核步幅设置为1,保证编码网络后续残差模块的输出特征图的大小不变,编码网络最终输出的特征图的高宽是输入图像的1/8。
S2、建立多个基于交互注意力机制的注意力解码单元(Decoder-AT Unit),分别串联融合多个注意力解码单元构建图像分割和图像边缘预测的特征解码网络,具体实施方法为:
将公共特征编码网络最后一个层级的输出,分别送入到两个空洞空间金字塔池化(ASPP)模块,分别得到图像分割和边缘预测的特征解码网络的输入特征图aspp_s和aspp_e,分别送入到分割解码网络和边缘解码网络。
构建基于交互注意力机制的注意力解码单元,包含两个来源不同的特征图输入(I1和I2),其中I1表示解码网络上一层级的注意力解码单元的输出,I2在边缘特征解码网络表示公共编码网络对应层级模块的输出,在分割特征解码网络中表示对应层级的边缘感知分割模块的输出。具体表现为如下操作:先将低分辨率的特征图I1(来自高层级注意力解码单元)通过1*1的卷积,将其特征图通道调整为与高分率输入特征图I2相同的大小,得到特征图F1;将通道调整后的低分辨率的特征图F1上采样至与高分率输入特征图I2相同的大小,得到特征图F2;对特征图F1和F2执行通道维度的拼接,对拼接后的特征进行一次3*3的卷积操作以得到特征图F3,卷积核的数量与特征图F2的通道数量一致,保证F3的通道数量与F1和F2一致;对F3执行一次sigmoid操作,将其所有的特征值归一化到0-1之间,得到注意力图谱Att-Map;执行注意力操作,将Att-Map分别与F1和F2做点乘操作,分别得到关注后的特征图F1 *和F2 *;最后对关注后的特征图F1 *、F2 *以及前面的特征图F3执行点加操作,得到该注意力解码单元的最终输出特征图Fout。
分别串联4个注意力解码单元,得到最终的边缘解码网络和分割解码网络。
S3、建立多个基于边界注意的边缘感知分割模块(BaSm),用以融合对应层级的边缘解码网络模块的输出和公共编码网络模块的输出,并将融合结果送入对应层级的分割解码网络模块,具体实施方法为:
依据当前边缘感知分割模块的层级,找到与其相对应的公共编码网络模块的输出Xseg和边缘解码网络中注意力解码单元的输出Xedge,以当前二者输出作为本模块的输入特征。构建基于边界注意的边缘感知分割模块,具体计算表现为:对特征图Xseg执行1*1的卷积操作,将其通道数调整为与特征图Xedge通道数相同,得到特征图Xseg 1;将特征图Xseg 1与特征图Xedge做点乘的注意力操作,得到注意后的边界注意力特征;对特征图Xseg 1执行sigmoid操作,归一化到0-1之间,并与自身执行点乘操作,得到自注意力后的特征,并将自注意力后的特征与边界注意力特征执行点加操作,得到综合注意力特征X+;对综合注意力特征执行一次3*3的卷积操作,得到模块最后输出的边界增强特征图Xf。
与解码网络的注意力解码单元和编码网络的层级数量一致,将4个边缘感知分割模块部署在公共编码网络和分割解码网络的层级之间。
S4、融合所有的编码网络、解码网络、边缘感知分割模块,得到最终的分割网络。
融合步骤S1-S3中所提出的编码网络、解码网络以及边缘感知分割模块,构建基于边界感知注意的分割网络架构。
对边缘预测解码网络的最终输出和分割解码网络的最终输出执行上采样、3*3卷积、sigmoid激活等一系列操作,分别得到分割的预测概率图Ps和边缘的预测概率图Pe。
对网络预测的每个输出,选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值,将分割概率图和边缘概率图的差异值按照1:1的比例求和作为网络训练的损失函数,使用随机梯度下降的方法最小化该损失函数,从而优化网络的权重参数,依据Dice值作为评价指标选择性能最好的模型。
本发明实施例还提供了一种图像分割系统,其包括计算机设备;所述计算机设备被配置或编程为用于执行上述实施例方法的步骤。
本发明中,计算机设备可以是微处理器、上位机等设备。
使用D7-Data数据集,采用不同图像切割系统进行切割,得到的结果如表1所示:
表1各图像切割系统对D7-Data数据集中图像的切割结果
使用xiangYa-Derm数据集,采用不同图像切割系统进行切割,得到的结果如表2所示:
以上结果标明,本发明的图像切割效果明显优于其余系统。
最后应当说明的是,以上实施例仅用于说明本发明的技术方案而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细说明,本领域的普通技术人员应当了解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (9)
1.一种基于边界感知注意的图像分割系统,其特征在于,包括公共特征编码网络,所述公共特征编码网络包括若干n个串联的残差块,其中上一级残差块的输出作为下一级残差块的输入;每个残差块通讯连接一个注意力解码单元和一个边缘感知分割模块,边缘感知分割模块通信连接一个分割解码网络模块;注意力解码单元依次串联形成预测解码网络;分割解码网络模块依次串联形成分割解码网络;公共特征编码网络的第n个残差块通讯连接有两个空洞空间金字塔池化模块,其中第n个残差块的输出和一个空洞空间金字塔池化模块的输出作为第n个注意力解码单元的输入;第n分割残差块的输出作为第n个边缘感知分割模块输入,第n个边缘感知分割模块的输出和另一个空洞空间金字塔池化模块的输出做为第n个分割解码网络模块的输入;其中第i个注意力解码单元的输入为第i个残差块的输出和第i+1个注意力解码单元的输出;第i个边缘感知分割模块的输入为第i个残差块的输出和第i个注意力解码单元的输出;第i个分割解码网络模块的输入为第i个边缘感知分割模块的输出和第i+1个分割解码网络模块的输出;第i个残差块的输入为初始图像或第i-1个残差块的输出;其中1≤i<n;
将初始图像输入基于边界感知注意的图像分割系统,得到初始图像的分割的预测概率图Ps和边缘的预测概率图Pe。
2.如权利要求1所述的基于边界感知注意的图像分割系统,其特征在于,n=4。
3.如权利要求1所述的基于边界感知注意的图像分割系统,其特征在于,所述公共特征编码网络以ResNet50网络作为编码网络的骨干网络原型,并去除最后的全连接层和分类层,保留剩余的卷积块和残差块;且ResNet50网络最后两个残差块中的卷积核步幅设置为1,使得编码网络后续残差模块的输出特征图的大小不变,编码网络最终输出的特征图的高宽是输入图像的1/8。
4.如权利要求1所述的基于边界感知注意的图像分割系统,其特征在于,第i个注意力解码单元的图像处理流程为:第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I1,以第i个残差块的输出作为高分率输入特征图I2;先将低分辨率的特征图I1通过1*1的卷积,将特征图通道调整为与高分率输入特征图I2相同的大小,得到特征图F1;将特征图F1上采样至与高分率输入特征图I2相同的大小,得到特征图F2;对特征图F1和F2执行通道维度的拼接,对拼接后的特征进行一次3*3的卷积操作以得到特征图F3,卷积核的数量与特征图F2的通道数量一致,保证特征图F3的通道数量与特征图F1和特征图F2一致;对特征图F3执行一次sigmoid操作,将特征图F3所有的特征值归一化到0-1之间,得到注意力图谱Att-Map;执行注意力操作,将注意力图谱Att-Map分别与F1和F2做点乘操作,分别得到关注后的特征图F1 *和F2 *;最后对关注后的特征图F1 *、F2 *以及特征图F3执行点加操作,得到注意力解码单元的最终输出特征图Fout。
5.如权利要求1所述的基于边界感知注意的图像分割系统,其特征在于,第i个边缘感知分割模块的图像处理流程为:以第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出公共编码网络模块的输出作为特征图Xseg,以第i个注意力解码单元的输出作为边缘解码网络中注意力解码单元的输出作为特征图Xedge;对特征图Xseg执行1*1的卷积操作,将通道数调整为与特征图Xedge通道数相同,得到特征图Xseg 1;将特征图Xseg 1与特征图Xedge做点乘的注意力操作,得到注意后的边界注意力特征;对特征图Xseg 1执行sigmoid操作,归一化到0-1之间,并与自身执行点乘操作,得到自注意力后的特征,并将自注意力后的特征与边界注意力特征执行点加操作,得到综合注意力特征X+;对综合注意力特征执行一次3*3的卷积操作,输出的边界增强特征图Xf;第i个分割解码网络模块图像处理流程为:第i+1个注意力解码单元的输出或空洞空间金字塔池化模块的输出作为低分辨率的特征图I1,以第i个边缘感知分割模块的输出作为高分率输入特征图I2,其余步骤与注意力解码单元的图像处理流程相同。
6.如权利要求5所述的基于边界感知注意的图像分割系统,其特征在于,对预测解码网络的最终输出和分割解码网络的最终输出均依次执行上采样、3*3卷积、sigmoid激活操作,分别得到分割的预测概率图Ps和边缘的预测概率图Pe;对网络预测的输出:分割的预测概率图Ps和边缘的预测概率图Pe,选择交叉熵损失函数和Dice损失函数计算预测与实际标签之间的差异值,将分割概率图和边缘概率图的差异值按照1:1的比例求和作为网络训练的损失函数,使用随机梯度下降的方法迭代最小化损失函数,每次迭代得到优化网络权重参数的基于边界感知注意的图像分割模型;依据优化指标从所有迭代训练中得到的基于边界感知注意的图像分割模型中选择得到最终的基于边界感知注意的图像分割模型。
7.如权利要求6所述的基于边界感知注意的图像分割系统,其特征在于,所述上采样的算法为双线性插值操作或反卷积操作。
9.如权利要求6所述的基于边界感知注意的图像分割系统,其特征在于,所述交叉熵损失函数BCE(P,G)如下所示:
其中,P表示网络预测的概率图,G表示对应任务的标签图,N表示像素点的数量,Pj和Gj分别表示P和G中第j个像素值;Dice损失函数Dice(P,G)如下所示:
选取的优化指标为Dice相似系数Dice、Jaccard相似系数JA和准确率ACC中的一个,计算公式如下:
其中,TP表示标签为正被分类为正的数目;FN表示标签为正被分类为负的数目,TN表示标签为负被分类为负的数目;FP表示标签为负被分类为正的数目。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210288579.0A CN114565628B (zh) | 2022-03-23 | 2022-03-23 | 一种基于边界感知注意的图像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210288579.0A CN114565628B (zh) | 2022-03-23 | 2022-03-23 | 一种基于边界感知注意的图像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114565628A CN114565628A (zh) | 2022-05-31 |
CN114565628B true CN114565628B (zh) | 2022-09-13 |
Family
ID=81720010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210288579.0A Active CN114565628B (zh) | 2022-03-23 | 2022-03-23 | 一种基于边界感知注意的图像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565628B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984293B (zh) * | 2023-02-09 | 2023-11-07 | 中国科学院空天信息创新研究院 | 基于边缘感知注意力机制的空间目标分割网络及方法 |
CN116030260B (zh) * | 2023-03-27 | 2023-08-01 | 湖南大学 | 一种基于长条状卷积注意力的手术全场景语义分割方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
CN112802012A (zh) * | 2021-03-09 | 2021-05-14 | 中南大学湘雅医院 | 病理图像检测方法、装置、计算机设备和存储介质 |
CN113034505A (zh) * | 2021-04-30 | 2021-06-25 | 杭州师范大学 | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 |
CN113344951A (zh) * | 2021-05-21 | 2021-09-03 | 北京工业大学 | 一种边界感知双重注意力引导的肝段分割方法 |
CN113658200A (zh) * | 2021-07-29 | 2021-11-16 | 东北大学 | 基于自适应特征融合的边缘感知图像语义分割方法 |
CN113793345A (zh) * | 2021-09-07 | 2021-12-14 | 复旦大学附属华山医院 | 一种基于改进注意力模块的医疗影像分割方法及装置 |
CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
CN114004811A (zh) * | 2021-11-01 | 2022-02-01 | 西安交通大学医学院第二附属医院 | 一种基于多尺度残差编解码网络的图像分割方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11461998B2 (en) * | 2019-09-25 | 2022-10-04 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
-
2022
- 2022-03-23 CN CN202210288579.0A patent/CN114565628B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
CN112802012A (zh) * | 2021-03-09 | 2021-05-14 | 中南大学湘雅医院 | 病理图像检测方法、装置、计算机设备和存储介质 |
CN113034505A (zh) * | 2021-04-30 | 2021-06-25 | 杭州师范大学 | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 |
CN113344951A (zh) * | 2021-05-21 | 2021-09-03 | 北京工业大学 | 一种边界感知双重注意力引导的肝段分割方法 |
CN113658200A (zh) * | 2021-07-29 | 2021-11-16 | 东北大学 | 基于自适应特征融合的边缘感知图像语义分割方法 |
CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
CN113793345A (zh) * | 2021-09-07 | 2021-12-14 | 复旦大学附属华山医院 | 一种基于改进注意力模块的医疗影像分割方法及装置 |
CN114004811A (zh) * | 2021-11-01 | 2022-02-01 | 西安交通大学医学院第二附属医院 | 一种基于多尺度残差编解码网络的图像分割方法及系统 |
Non-Patent Citations (9)
Title |
---|
Boundary-aware context neural network for medical image segmentation;Ruxin Wang 等;《Medical Image Analysis》;20220214;第1-13页 * |
Deep boundary-aware semantic image segmentation;Huisi Wu 等;《Computer Animation Virtual Worlds》;20210524;第1-12页 * |
End-to-End Boundary Aware Networks for Medical Image Segmentation;Ali Hatamizadeh 等;《arXiv》;20190910;第1-8页 * |
Lesion Segmentation Framework Based on Convolutional Neural Networks with Dual Attention Mechanism;Fei Xie 等;《electronics》;20211213;第1-17页 * |
基于 DeepLabV3+与注意力机制相结合的图像语义分割;邱云飞 等;《激光与光电子学进展》;20220224;第59卷(第4期);第0410008-1-041000-10页 * |
基于多尺度感知和语义适配的医学图像分割算法;王雪 等;《吉林大学学报(工学版)》;20220308;第52卷(第3期);第640-647页 * |
基于改进的 nnU-Net 胰腺分割模型;龚晓庆;《西北大学学报( 自然科学版)》;20210706;第51卷(第4期);第594-600页 * |
基于边缘感知和小样本学习的多尺度带钢表面缺陷分割方法;郭学俊 等;《太原理工大学学报》;20220316;第1-9页 * |
用于肺部肿瘤图像分割的跨模态多编码混合注意力 U-Net;周涛 等;《光子学报》;20220305;第51卷(第4期);第0410006-1-0410006-17页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114565628A (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112287978B (zh) | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
CN113870335B (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
CN114565628B (zh) | 一种基于边界感知注意的图像分割方法及系统 | |
US12106482B2 (en) | Learning-based active surface model for medical image segmentation | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN108596240B (zh) | 一种基于判别特征网络的图像语义分割方法 | |
CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
CN109948575B (zh) | 超声图像中眼球区域分割方法 | |
CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN115294075A (zh) | 一种基于注意力机制的octa图像视网膜血管分割方法 | |
CN116612288B (zh) | 一种多尺度轻量级实时语义分割方法、系统 | |
CN111640116A (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
CN116363149A (zh) | 一种基于U-Net改进的医学图像分割方法 | |
CN115578589A (zh) | 一种无监督超声心动图切面识别方法 | |
CN117392153B (zh) | 一种基于局部补偿和多尺度自适应变形的胰腺分割方法 | |
CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
CN111860668B (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
CN116188435B (zh) | 一种基于模糊逻辑的医学图像深度分割方法 | |
CN117151162A (zh) | 基于自监督与专家门控的跨解剖区域器官增量分割方法 | |
CN117011515A (zh) | 基于注意力机制的交互式图像分割模型及其分割方法 | |
CN116523877A (zh) | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 | |
CN116310335A (zh) | 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法 | |
CN116109656A (zh) | 一种基于无监督学习的交互式图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |