CN116758090A - 一种基于多尺度减法的医学图像分割方法 - Google Patents
一种基于多尺度减法的医学图像分割方法 Download PDFInfo
- Publication number
- CN116758090A CN116758090A CN202310823471.1A CN202310823471A CN116758090A CN 116758090 A CN116758090 A CN 116758090A CN 202310823471 A CN202310823471 A CN 202310823471A CN 116758090 A CN116758090 A CN 116758090A
- Authority
- CN
- China
- Prior art keywords
- scale
- input
- module
- output
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003709 image segmentation Methods 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 12
- 230000000295 complement effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明属于深度学习技术在计算机视觉领域,提供了一种基于多尺度减法的医学图像分割方法。本发明首先构建了特征提取网络,然后使用了多尺度减法模块中的多尺度减法单元进行有效信息的筛选和对冗余信息的过滤,整个模块采用金字塔式地连接多个减法单元来捕获大范围的跨层信息;之后,网络聚合水平特定特征和多路径跨水平的差异特征,最后在解码器中生成最终的预测。本发明实现了快速轻量级的医学图像检测模型,不仅能检测各种复杂形状医学病灶区域,而且检测过程快速而精确。
Description
技术领域
本发明属于人工智能技术领域,涉及到深度学习和计算机视觉内容,特别涉及到一种医学图像显著性检测方法,具体为一种基于多尺度减法的医学图像分割方法。
背景技术
随着信息科技的发展,人工智能被广泛应用于智慧医疗领域。近几年全球各国纷纷提出“大健康”、医疗大数据等概念,将民生健康置于战略性地位,促进了人工智能医疗领域的发展。在众多医疗信息中,医学影像是疾病筛查和诊断、治疗决策的最主要信息来源。理解医学图像、提取其中具有诊断和治疗决策价值的关键信息是诊疗过程中非常重要的环节。人工智能和医学影像的结合,能够为医生阅片和勾画提供辅助和参考,大大节约医生时间,提高诊断、放疗以及手术的精度。医学图像分割能够从特定组织图像中提取关键信息,是实现医学图像可视化关键步骤。分割后的图像被提供给医生用于组织体积的定量分析、诊断、病理改变组织的定位、解剖结构的描绘、治疗计划等不同任务。医学图像信息量巨大,临床上手工勾画医学图像目标区域是一件费时费力的工作,给临床医生的日常工作增加了很大负担。因此,临床上的医学图像分割仍然是一个难题。
早期的医学图像分割方法大致可分为基于阈值、边缘、区域、图论、能量泛函这五类。但是大部分方法都需要进行大量的预处理,相对来说既费时又费力。近些年,随着深度学习算法在计算机视觉领域获得了巨大成功,在医学图像分割任务重也有不错的表现。早期传统的基于卷积神经网络的分割方法做法通常是为了对一个像素分类,使用该像素周围的一个图像块作为卷积神经网络的输入用于训练和预测。这种方法有几个缺点:一是存储开销很大。二是计算效率低下。相邻像素块的外观通常是相似的,逐个像素块计算卷积的方式有很大冗余。全卷积网络结构(FCN)的提出可以对图像进行像素级的分类,从而实现语义级别的图像分割。之后U-net网络产生,它的上采样阶段与下采样阶段采用了相同数量层次的卷积操作,且使用跳连接结构将下采样层与上采样层相连,使得编码器提取到的特征可以直接传递到解码器中。这样,U-net网络的像素定位更加准确,分割精度更高,从而成为医学图像分割任务的一个理想解决方案。
发明内容
本发明要解决的技术问题是:弥补当前UNet网络及其变种网络的不足,提出一种基于多尺度减法的医学图像分割方法,达到高精度高效率检测的目的。
本发明的技术方案:
一种基于多尺度减法的医学图像分割方法,步骤如下:
步骤(1)构建基础特征提取网络
特征提取网络采用Res2Net经典网络结构作为骨干,分别从5个不同层提取输入图像对应尺寸的特征作为输出;
步骤(2)构建多尺度减法单元
多尺度减法单元输入为FA和FB两部分,它们表示相邻层的特征图,都已经被ReLU操作激活,其中,FA和FB的具体来源将会在步骤(3)中介绍;然后利用三个固定大小分别为1×1、3×3和5×5的多尺度卷积滤波器,分别对输入FA和FB进行滤波操作,再相同滤波器对应的两个输出进行直接取绝对值相减操作,最后得到的三个输出结果进行相加再经过一次卷积操作;整个运算过程定义如下:
其中,Filter(·)n×n表示大小为n×n的一个滤波器,Conv(x)表示卷积操作,代表直接逐元素相减操作,MSU代表特征筛选模块最终的输出特征图。
步骤(3)构建多尺度减法模块
多尺度减法模块是对基础特征提取网络的输出进行融合的步骤,该模块里面运用多个多尺度减法单元,具体如下:首先,步骤(1)提取的五层特征先经过3×3的卷积,将通道数统一并作为多尺度减法模块的输入,这5个输入分别记作和为了获得多个特征层次的高阶互补信息,该模块水平和垂直金字塔式地连接多个多尺度减法单元,计算一系列具有不同顺序和接受域的差异特征,具体来说,/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>同理,一直到/>经过上采样后恢复到/>的大小后,和作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到四个输出分别是/>和/>作为新的输入按照同样的方式,即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到一直到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到三个输出分别是/>和/>作为新的输入按照同样的方式即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到两个输出/>和/>然后/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>最后该模块在对应层和其它的层中融合尺度特定特征/>和跨尺度差异特征/>通过求和之后再进行一个卷积操作来生成互补增强特征CEi。这个过程定义如下:
步骤(4)构建医学分割网络解码器
医学分割网络解码器由4个解码器模块Dm,m∈{1,2,3,4}组成,其中最后一层解码器模块D4的输入来自多尺度减法模块里的输出CE5和CE4,CE5和CE4进行对应元素相加,再经过卷积操作得到解码器模块D4的输出,解码器模块D3的输入来自多尺度减法模块输出CE3和解码器D4的输出,CE3和解码器D4的输出进行对应元素相加,再经过卷积操作得到解码器模块D3的输出,解码器模块D2的输入来自多尺度减法模块输出CE2和解码器D3的输出,CE2和解码器D3的输出进行对应元素相加,再经过卷积操作得到解码器模块D2的输出,解码器模块D1的输入来自多尺度减法模块输出CE1和解码器D2的输出,CE1和解码器D2的输出进行对应元素相加,再经过卷积操作得到解码器模块D1的输出作为最后的预测结果。
步骤(5)构建通用无训练损失网络
首先,使用ImageNet预训练的VGG-16分类网络,分别提取预测值和真实值的多尺度特征,其中预测值即为步骤(4)中解码器模块D1的输出,而真实值是训练数据里提供的标签,然后,将预测值和真实值的特征差计算为损失Lf,具体计算公式如下:
其中代表第k层的损失,VGG-16网络一共有4层。设/>和/>分别表示预测值和真实值经过分类网络提取的第k级特征图,则/>为它们之间像素层面上的监督,即L2损失,公式如下:
步骤(6)构建整体网络
整合步骤(1)-(5)的内容,即为多尺度减法医学分割网络的整体。具体来说,步骤(1)的基础特征提取网络把医学图像作为输入,提取图片特征,其输出作为步骤(3)中的多尺度减法模块的输入,多尺度减法模块里包含着多个步骤(2)中的多尺度减法单元;多尺度减法模块的输出作为步骤(4)的医学分割网络解码器的输入,其输出为最后的预测结果。同时,通过步骤(5)提到的通用无训练损失网络来进行辅助监督。
步骤(7)训练方法
首先将多尺度减法医学分割网络在图像分类数据集ImageNet上进行预训练,并保存预训练网络权重参数;然后整个网络在医学图像数据集上进行训练,使模型对该任务场景达到收敛。
本发明的有益效果:本发明充分利用减法单元对每一对相邻水平特征的提取,突出显示保留了特征之间的差异信息,并消除了其中冗余信息的干扰。对于多尺度减法模块中的多尺度减法单元,其来收集极端的多尺度信息。对于层间的多尺度信息,采用金字塔式地连接多个减法单元来捕获大范围的跨层信息。之后,网络聚合水平特定特征和多路径跨水平的差异特征,最后在解码器中生成最终的预测。这样,整个网络同时具有层间和层内的多尺度减法结构,并通过一个LossNet来自动监督提取从底层到顶层的特征映射,最后实现对医学图像上的病灶的精确分割。
附图说明
图1为整个多尺度减法网络;其中最左面一列代表特征提取骨干网络,一共有五个编码Block,大小不同表示提取的特征图尺寸逐渐减小;中间的整个模块代表多尺度减法模块,5个编码Block的输出经过一次卷积操作作为该模块的输入,该模块水平和垂直金字塔式地连接多个多尺度减法单元,计算一系列具有不同顺序和接受域的差异特征;特征图最后要经过上采样步骤聚合在一起;最右侧为医学分割网络解码器。
图2为多尺度减法单元的内部具体结构,不同大小的深色方块代表不同尺度的滤波器,表示像素级别加法运算,/>表示像素级别的减法运算并取绝对值操作;
图3为LossNet结构示意图,可以看到将网络的预测值和真值同时分别送入已经用ImageNet预训练好的分类网络,如VGG-16,在经过该分类网络的不同层时,都会输出对应的预测值和真值的输出结果,这两个输出结果在像素级别上进行L2损失的计算,由于在VGG-16分类网络上选取了4层的输出,因此该LossNet的结果由四部分的L2损失相加得到。
图4(a)和图4(b)是两个输入图像示例;
图5(a)和图5(b)是对应的两个分割结果示例。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
一种基于多尺度减法的医学图像分割方法,步骤如下:
步骤(1)构建基础特征提取网络
特征提取网络采用Res2Net经典网络结构作为骨干,如图1左面一列Encoder编码器模块所示,它的输入为3通道的RGB图像,分别从Res2Net的第1、10、22、40、49层提取输入图像尺寸的1/4、1/4、1/8、1/16、1/32特征作为输出,且输出特征对应的通道数分别为64、256、512、1024、2048通道;
步骤(2)构建多尺度减法单元
如图2所示,多尺度减法单元输入为FA和FB两部分,它们表示相邻层的特征图,都已经被ReLU操作激活,FA和FB的具体来源将会在步骤(3)中介绍;然后利用三个固定大小分别为1×1、3×3和5×5的多尺度卷积滤波器,先后对输入FA和FB进行滤波操作,再相同滤波器的两个输出进行直接取绝对值相减操作,最后得到的三个输出结果进行相加再经过一次卷积操作;整个运算过程定义如下:
其中,Filter(·)n×n表示大小为n×n的一个滤波器,Conv(x)表示卷积操作,代表直接逐元素相减操作,MSU代表特征筛选模块最终的输出特征图。
步骤(3)构建多尺度减法模块
多尺度减法模块是对基础特征提取网络的输出进行融合的步骤,如图1中间部分所示,该模块里面多处用到了多尺度减法单元。首先,步骤(1)提取输入图像尺寸的1/4、1/4、1/8、1/16、1/32特征先经过3×3的卷积,将通道数统一为64作为该模块的输入,这5个输入分别记作和/>为了获得多个特征层次的高阶互补信息,该模块水平和垂直金字塔式地连接多个多尺度减法单元,计算一系列具有不同顺序和接受域的差异特征,具体来说就是/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>同理,一直到经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到四个输出分别是/>和/>它们作为新的输入按照同样的方式,即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>一直到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到三个输出分别是/>和/>他们作为新的输入按照同样的方式即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到两个输出/>和/>然后/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>最后该模块在对应层和其它的层中融合尺度特定特征/>和跨尺度差异特征/>通过求和之后再进行一个卷积操作来生成互补增强特征CEi。这个过程定义如下:
步骤(4)构建医学分割网络解码器
网络解码器由4个解码器模块Dm,m∈{1,2,3,4}组成,如图1右面一列Decoder模块所示,其中最后一层解码器模块D4的输入来自多尺度减法模块里的输出CE5和CE4,CE5和CE4进行对应元素相加,再经过卷积操作得到解码器模块D4的输出,解码器模块D3的输入来自多尺度减法模块输出CE3和解码器D4的输出,CE3和解码器D4的输出进行对应元素相加,再经过卷积操作得到解码器模块D3的输出,解码器模块D2的输入来自多尺度减法模块输出CE2和解码器D3的输出,CE2和解码器D3的输出进行对应元素相加,再经过卷积操作得到解码器模块D2的输出,解码器模块D1的输入来自多尺度减法模块输出CE1和解码器D2的输出,CE1和解码器D2的输出进行对应元素相加,再经过卷积操作得到解码器模块D1的输出作为最后的预测结果。
步骤(5)构建通用无训练损失网络
首先,使用ImageNet预训练的分类网络,如VGG-16,分别提取预测值和真实值的多尺度特征,其中预测值即为步骤(4)提到的解码器模块D1的输出,而真实值是训练数据里提供的标签,然后,将它们的特征差计算为损失Lf,具体计算公式如下:
其中代表第k层的损失,VGG-16网络一共有4层。设/>和/>分别表示预测值和真实值经过分类网络提取的第k级特征图,则/>为它们之间像素层面上的监督,即L2损失,公式如下:
如图3所示,低层的特征图包含了丰富的边界信息,而高层的特征图描述了位置信息。
步骤(6)构建整体网络
整合前5个步骤提到的内容,即为多尺度减法医学分割网络的整体。具体来说,步骤(1)的基础特征提取网络把医学图像作为输入,提取图片特征,其输出作为步骤(3)中提到的多尺度减法模块的输入,多尺度减法模块里包含着多个步骤(2)中提到的多尺度减法单元。多尺度减法模块的输出作为步骤(4)提到的医学分割网络解码器的输入,其输出为最后的预测结果。同时,通过步骤(5)提到的通用无训练损失网络来进行辅助监督。
步骤(7)训练方法
对于Res2Net50网络作为骨干结构,首先将其在图像分类数据集ImageNet上进行预训练,并保存预训练网络权重参数。然后整个网络在医学息肉数据集上进行训练,使模型对该任务场景达到收敛。此外,在损失函数的设计中建立了一个通用的无训练损失网络,在特征层面上实现了从细节到结构的监督。网络优化器采用了SGD,批大小设为16,初始学习率设为0.05,其中动量和权重衰减超参数分别设置为0.9和0.0005,共进行50次迭代。训练完成后,将图4(a)和图4(b)输入到网络当中去,图5(a)和图5(b)即为网络的输出结果也是对应的两个分割结果。
Claims (1)
1.一种基于多尺度减法的医学图像分割方法,其特征在于,步骤如下:
步骤(1)构建基础特征提取网络
特征提取网络采用Res2Net经典网络结构作为骨干,分别从5个不同层提取输入图像对应尺寸的特征作为输出;
步骤(2)构建多尺度减法单元
多尺度减法单元输入为FA和FB两部分,它们表示相邻层的特征图,都已经被ReLU操作激活;然后利用三个固定大小分别为1×1、3×3和5×5的多尺度卷积滤波器,分别对输入FA和FB进行滤波操作,再相同滤波器对应的两个输出进行直接取绝对值相减操作,最后得到的三个输出结果进行相加再经过一次卷积操作;整个运算过程定义如下:
其中,Filter(·)n×n表示大小为n×n的一个滤波器,Conv(x)表示卷积操作,代表直接逐元素相减操作,MSU代表特征筛选模块最终的输出特征图;
步骤(3)构建多尺度减法模块
多尺度减法模块是对基础特征提取网络的输出进行融合的步骤,该模块里面运用多个多尺度减法单元,具体如下:首先,步骤(1)提取的五层特征先经过3×3的卷积,将通道数统一并作为多尺度减法模块的输入,这5个输入分别记作和为了获得多个特征层次的高阶互补信息,该模块水平和垂直金字塔式地连接多个多尺度减法单元,计算一系列具有不同顺序和接受域的差异特征,具体来说,/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到 经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>同理,一直到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到四个输出分别是/> 和/>作为新的输入按照同样的方式,即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>一直到/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到三个输出分别是/> 和/>作为新的输入按照同样的方式即/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/> 经过上采样后恢复到/>的大小后,和作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>这样一共得到两个输出/>和/>然后/>经过上采样后恢复到/>的大小后,和/>作为一个多尺度减法单元的输入FA和FB,进行计算后得到/>最后该模块在对应层和其它的层中融合尺度特定特征/>和跨尺度差异特征/>通过求和之后再进行一个卷积操作来生成互补增强特征CEi;这个过程定义如下:
步骤(4)构建医学分割网络解码器
医学分割网络解码器由4个解码器模块Dm,m∈{1,2,3,4}组成,其中最后一层解码器模块D4的输入来自多尺度减法模块里的输出CE5和CE4,CE5和CE4进行对应元素相加,再经过卷积操作得到解码器模块D4的输出,解码器模块D3的输入来自多尺度减法模块输出CE3和解码器D4的输出,CE3和解码器D4的输出进行对应元素相加,再经过卷积操作得到解码器模块D3的输出,解码器模块D2的输入来自多尺度减法模块输出CE2和解码器D3的输出,CE2和解码器D3的输出进行对应元素相加,再经过卷积操作得到解码器模块D2的输出,解码器模块D1的输入来自多尺度减法模块输出CE1和解码器D2的输出,CE1和解码器D2的输出进行对应元素相加,再经过卷积操作得到解码器模块D1的输出作为最后的预测结果;
步骤(5)构建通用无训练损失网络
首先,使用ImageNet预训练的VGG-16分类网络,分别提取预测值和真实值的多尺度特征,其中预测值即为步骤(4)中解码器模块D1的输出,而真实值是训练数据里提供的标签,然后,将预测值和真实值的特征差计算为损失Lf,具体计算公式如下:
其中代表第k层的损失,VGG-16网络一共有4层;设/>和/>分别表示预测值和真实值经过分类网络提取的第k级特征图,则/>为它们之间像素层面上的监督,即L2损失,公式如下:
步骤(6)构建整体网络
整合步骤(1)-(5)的内容,即为多尺度减法医学分割网络的整体;具体来说,步骤(1)的基础特征提取网络把医学图像作为输入,提取图片特征,其输出作为步骤(3)中的多尺度减法模块的输入,多尺度减法模块里包含着多个步骤(2)中的多尺度减法单元;多尺度减法模块的输出作为步骤(4)的医学分割网络解码器的输入,其输出为最后的预测结果;同时,通过步骤(5)提到的通用无训练损失网络来进行辅助监督;
步骤(7)训练方法
首先将多尺度减法医学分割网络在图像分类数据集ImageNet上进行预训练,并保存预训练网络权重参数;然后整个网络在医学图像数据集上进行训练,使模型对该任务场景达到收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310823471.1A CN116758090A (zh) | 2023-07-06 | 2023-07-06 | 一种基于多尺度减法的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310823471.1A CN116758090A (zh) | 2023-07-06 | 2023-07-06 | 一种基于多尺度减法的医学图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116758090A true CN116758090A (zh) | 2023-09-15 |
Family
ID=87949625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310823471.1A Pending CN116758090A (zh) | 2023-07-06 | 2023-07-06 | 一种基于多尺度减法的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758090A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611610A (zh) * | 2023-12-11 | 2024-02-27 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
-
2023
- 2023-07-06 CN CN202310823471.1A patent/CN116758090A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611610A (zh) * | 2023-12-11 | 2024-02-27 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
CN117611610B (zh) * | 2023-12-11 | 2024-05-24 | 苏州大学 | 一种基于多尺度特征补偿的微动脉瘤分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886986B (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
CN109584246B (zh) | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 | |
Li et al. | Accurate retinal vessel segmentation in color fundus images via fully attention-based networks | |
Fu et al. | StoHisNet: A hybrid multi-classification model with CNN and Transformer for gastric pathology images | |
CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
CN109447998A (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
CN106408001A (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
CN113034505A (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
CN112150476A (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN113554665A (zh) | 一种血管分割方法及装置 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN116758090A (zh) | 一种基于多尺度减法的医学图像分割方法 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN112634291A (zh) | 一种基于神经网络的烧伤创面区域自动分割方法 | |
CN118430790A (zh) | 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法 | |
Ruan et al. | An efficient tongue segmentation model based on u-net framework | |
CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
CN115760875A (zh) | 一种基于自监督学习的全视野医学图片区域分割方法 | |
CN115565671A (zh) | 基于跨模型相互教学半监督的房颤辅助分析方法 | |
CN115272739A (zh) | 一种基于自注意力机制的弱监督宫颈癌前病变分级方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |