CN117611610B - 一种基于多尺度特征补偿的微动脉瘤分割方法 - Google Patents

一种基于多尺度特征补偿的微动脉瘤分割方法 Download PDF

Info

Publication number
CN117611610B
CN117611610B CN202311689117.0A CN202311689117A CN117611610B CN 117611610 B CN117611610 B CN 117611610B CN 202311689117 A CN202311689117 A CN 202311689117A CN 117611610 B CN117611610 B CN 117611610B
Authority
CN
China
Prior art keywords
scale
module
feature
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311689117.0A
Other languages
English (en)
Other versions
CN117611610A (zh
Inventor
邹玮
张婕
刘双
王加俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202311689117.0A priority Critical patent/CN117611610B/zh
Publication of CN117611610A publication Critical patent/CN117611610A/zh
Application granted granted Critical
Publication of CN117611610B publication Critical patent/CN117611610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度特征补偿的微动脉瘤分割方法，涉及图像处理的技术领域，包括：获取待分割微动脉瘤图像，并将待分割微动脉瘤图像输入至编码模块进行深度特征提取，得到多尺度特征；将编码模块每相邻两层输出的多尺度特征输入多尺度特征补偿模块进行特征补偿；通过减法融合模块将各个尺度下特征补偿后的特征以及减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块；解码模块将融合后的特征进行解码处理，得到分割微动脉瘤图像。本发明在UNet网络的基础上，设计了多尺度特征补偿模块以及减法融合模块，通过补偿特征提取过程中丢失的信息，从而丰富特征的多样性和有效性，提高了分割的精度。

Description

一种基于多尺度特征补偿的微动脉瘤分割方法
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种基于多尺度特征补偿的微动脉瘤分割方法。
背景技术
糖尿病视网膜病变是由糖尿病引发的眼部疾病，微动脉瘤是其早期的症状之一。微动脉瘤多呈现为暗红色的圆点，尺寸比较小且随机分布，所以人工识别会比较困难，很容易造成误判或者漏判的情况，从而导致患者因没有及时治疗导致视觉受损等问题。因此利用计算机技术对微动脉瘤进行自动检测与分割具有重要的意义。
微动脉瘤分割的难点主要在于目标较小，细节特征不完整，样本不均衡，与背景的对比度低等。近年来，深度学习的方法在微动脉瘤分割任务中得到了广泛应用。使用卷积神经网络的方法，如UNet、FCN、SegNet等，可以从医学图像中学习并提取微动脉瘤的特征表示。这些方法利用大量的标注数据进行训练，能够实现较高的分割准确性和较好的鲁棒性。但对于大部分面积很小的微动脉瘤来说，分割的精度依旧不高，而且很容易受到干扰。现有的方法对于不同尺寸和形状的微动脉瘤可能无法进行准确分割，关于病灶的特征表示部分还不太完整，不能提取到很有效的病灶特征，容易受到大量背景特征的影响，神经网络的卷积池化操作也会导致部分病灶信息的丢失，甚至可能漏掉较小的病灶，这些对微动脉瘤的分割精度都造成了很大的影响。
发明内容
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于多尺度特征补偿的微动脉瘤分割方法解决背景技术中提到的问题。
为解决上述技术问题，本发明提供如下技术方案：
本发明实施例提供了一种基于多尺度特征补偿的微动脉瘤分割方法，包括：
获取待分割微动脉瘤图像，并将所述待分割微动脉瘤图像输入至编码模块进行深度特征提取，得到多尺度特征；
将所述编码模块每相邻两层输出的多尺度特征输入多尺度特征补偿模块进行特征补偿；
通过减法融合模块将各个尺度下特征补偿后的特征以及所述减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块；
所述解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：所述编码模块由依次连接的多个编码器组成，所述解码模块由依次连接的多个解码器组成。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：所述多尺度特征补偿模块与所述减法融合模块设置于所述编码器和其对应的所述解码器之间，所述多尺度特征补偿模块与所述减法融合模块对应连接，所述多尺度特征补偿模块将当前编码器以及当前编码器下层编码器的编码结果进行特征补偿处理后拼接到对应的减法融合模块。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：将编码模块每相邻两层输出的尺度特征图输入多尺度特征补偿模块进行特征补偿包括：
所述多尺度特征补偿模块引入四条并行的分支；所述分支分别采用步长为6，5，3，2和窗口大小为6×6，5×5，3×3，2×2的最大池化操作；
将当前编码器以及当前编码器下层编码器获取的多尺度特征作为第一分支的第一输入特征，所述第一分支采用第一尺度对所述第一输入特征进行最大池化操作得到第一特征信息；
利用所述第一特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将补偿后的多尺度特征融合第一输入特征作为第二分支的第二输入特征。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：还包括：所述第二分支采用第二尺度对所述第二输入特征进行最大池化操作得到第二特征信息；利用所述第二特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将所述补偿后的多尺度特征融合所述第一输入特征作为第三分支的第三输入特征；
所述第三分支采用第三尺度对所述第三输入特征进行最大池化操作得到第三特征信息；利用所述第三特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将所述补偿后的多尺度特征作为第四分支的第四输入特征；
所述第四分支采用第四尺度对所述第四输入特征进行最大池化操作得到第四特征信息；
将所述多尺度特征补偿模块各分支得到的特征信息拼接并与第一输入特征相加作为减法融合模块的一侧输入。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：所述减法融合模块将对应多尺度特征补偿模块的特征补偿结果，当前编码器以及当前编码器下层编码器的编码结果或当前编码器下层编码器对应解码器的解码结果拼接至解码模块。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：通过所述减法融合模块将各个尺度下特征补偿后的特征以及所述减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块，包括：
第一减法融合模块将当前编码器以及当前编码器下层编码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第三解码器的输入。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：还包括：
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第二解码器的输入；
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权并拼接同一级多尺度特征补偿模块的输出作为第一解码器的输入；
所述第一解码器用于输出最终微动脉瘤分割图像。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像包括：通过组合损失函数对网络进行训练获取最终微动脉瘤分割图像，总损失表示为：
；
其中，为图像像素类别数，/>为微动脉瘤图像原始像素，/>为微动脉瘤图像预测像素。
作为本发明所述的基于多尺度特征补偿的微动脉瘤分割方法的一种优选方案，其中：所述微动脉瘤分割前对获取的待分割微动脉瘤图像进行增强预处理。
与现有技术相比，本发明的有益效果：本发明通过对原始图像进行对比度增强，缓解微动脉瘤与背景对比度较低的问题；在UNet网络的基础上，设计了多尺度特征补偿模块以及减法融合模块，通过补偿特征提取过程中丢失的信息，从而丰富特征的多样性和有效性，提高了分割的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的整体网络结构图；
图2为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的编解码特征提取块图；
图3为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的多尺度特征补偿模块图；
图4为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的减法融合模块图；
图5为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的特征补偿示例图；其中，图5（a）为微动脉瘤原始图，图5（b）为第一特征信息图，图5（c）为第二特征信息图，图5（d）为第三特征信息图，图5（e）为第四特征信息图，图5（f）为微动脉瘤分割图；
图6为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的膨胀率为1的空洞卷积图；
图7为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的膨胀率为2的空洞卷积图；
图8为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的膨胀率为3的空洞卷积图；
图9为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的膨胀率为5的空洞卷积图；
图10为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的待分割的微动脉瘤原图；
图11为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的Ground Truth方法分割结果图；
图12为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的L-Seg方法分割结果图；
图13为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的MRT-Seg方法分割结果图；
图14为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的RILBP-YNET方法分割结果图；
图15为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的MCA-UNET方法分割结果图；
图16为本发明一个实施例所述的一种基于多尺度特征补偿的微动脉瘤分割方法的本发明方法分割结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
实施例1
参照图1~图9，为本发明的一个实施例，该实施例提供了一种基于多尺度特征补偿的微动脉瘤分割方法，步骤包括：
S1:获取待分割微动脉瘤图像，并将待分割微动脉瘤图像输入至编码模块进行深度特征提取，得到多尺度特征；
S2:将编码模块每相邻两层输出的多尺度特征输入多尺度特征补偿模块进行特征补偿；
S3:通过减法融合模块将各个尺度下特征补偿后的特征以及减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块；
S4:解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像。
应说明的是，本申请实施例以UNet网络为主干网络，对于微动脉瘤这类的小目标，随着下采样次数的增多，相应的特征信息可能会丢失，本申请实施例设计的网络结构减少了下采样的次数，同时也减少了参数量，能够对微动脉瘤这类的小目标进行更进一步的精确识别。
在一种实施例中，微动脉瘤分割前对获取的待分割微动脉瘤图像进行增强预处理。
应说明的是，本实施例中对获取的待分割微动脉瘤图像进行增强预处理的方式可为随机翻转、旋转、缩放、对比度变换，也可为其他任一能够对微动脉瘤图像进行图像增强处理的方式，此图像增强处理方式为现有技术，本发明不在此详述。
在一种实施例中，编码模块由依次连接的多个编码器组成，解码模块由依次连接的多个解码器组成。
应说明的是，编码模块和解码模块中还利用了一个串联的resblock块代替原始的串联卷积，增加了信息的传递效率，以及网络的非线性表达能力。
在一种实施例中，多尺度特征补偿模块与减法融合模块设置于编码器和其对应的解码器之间，多尺度特征补偿模块与减法融合模块对应连接，多尺度特征补偿模块将当前编码器以及当前编码器下层编码器的编码结果进行特征补偿处理后拼接到对应的减法融合模块。
在一种实施例中，将编码模块每相邻两层输出的尺度特征图输入多尺度特征补偿模块进行特征补偿包括：
多尺度特征补偿模块引入四条并行的分支；分支分别采用步长为6，5，3，2和窗口大小为6×6，5×5，3×3，2×2的最大池化操作；
将当前编码器以及当前编码器下层编码器获取的多尺度特征作为第一分支的第一输入特征，第一分支采用第一尺度对第一输入特征进行最大池化操作得到第一特征信息；
利用第一特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将补偿后的多尺度特征融合第一输入特征作为第二分支的第二输入特征。
在一种实施例中，还包括：第二分支采用第二尺度对第二输入特征进行最大池化操作得到第二特征信息；利用第二特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将补偿后的多尺度特征融合第一输入特征作为第三分支的第三输入特征；
第三分支采用第三尺度对第三输入特征进行最大池化操作得到第三特征信息；利用第三特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将补偿后的多尺度特征作为第四分支的第四输入特征；
第四分支采用第四尺度对第四输入特征进行最大池化操作得到第四特征信息；
将多尺度特征补偿模块各分支得到的特征信息拼接并与第一输入特征相加作为减法融合模块的一侧输入。
应说明的是，不同尺度的池化操作可以在不同的感受野范围内捕捉图像的特征信息，使用较大尺度的池化操作可以关注较大范围的上下文信息，使用较小尺度的池化操作可以保留局部细节信息。从第一条支路开始，使用较大尺度的最大池化操作，对于微动脉瘤这类的小目标会丢失部分细节信息，位置信息也比较模糊，通过利用输入特征与池化后的特征作差对丢失部分的信息做补偿，会突出部分微动脉瘤的特征以及部分背景的特征，再融合原始的输入信息作为下一条支路的输入，从而保留没有丢失的细节位置信息。剩下三条支路逐渐使用尺度更小的最大池化操作，使网络在训练过程中从开始的关注上下文信息到更加关注部分细节信息。
还应说明的是，本申请实施例中在每一条支路的池化操作后分别利用不同膨胀率的空洞卷积提取不同感受野的特征，较小的膨胀率较为密集地对特征进行采样，可以捕捉更细节的信息，较大地膨胀率较为稀疏地对特征进行采样，可以捕捉较广泛地上下文信息，以此使网络能处理不同尺度的信息，同时兼顾局部细节特征和上下文信息，从而提高模型对于变形、旋转等变换的鲁棒性。最后将四条支路的特征拼接后与原输入相加，保证了特征信息的重用，从而获得更丰富、更全面的目标特征。
在一种实施例中，减法融合模块将对应多尺度特征补偿模块的特征补偿结果，当前编码器以及当前编码器下层编码器的编码结果或当前编码器下层编码器对应解码器的解码结果拼接至解码模块。
在一种实施例中，通过减法融合模块将各个尺度下特征补偿后的特征以及所述减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块，包括：
第一减法融合模块将当前编码器以及当前编码器下层编码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第三解码器的输入。
在一种实施例中，还包括：
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第二解码器的输入；
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权并拼接同一级多尺度特征补偿模块的输出作为第一解码器的输入；
第一解码器用于输出最终微动脉瘤分割图像。
应说明的是，本申请实施例中设计的减法融合模块利用对应层级特征的差值代替原始UNet中的拼接，突出缺失的微动脉瘤信息，从而减少特征冗余。同时，利用高层特征进行通道注意力的变换获得通道上的目标信息，低层特征进行空间注意力的变换获得微动脉瘤的空间位置信息，将得到的两个权重同时赋给该差值进行加权，并且拼接上同一级多尺度特征补偿模块的输出，丰富相关信息，共同作为解码器的输入。
在一种实施例中，解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像包括：通过组合损失函数对网络进行训练获取最终微动脉瘤分割图像，总损失表示为：总损失表示为：
；
其中，为图像像素类别数，/>为微动脉瘤图像原始像素，/>为微动脉瘤图像预测像素。
应说明的是，本申请实施例中图像像素类别数取值为2，当/> 为1时，/>为微动脉瘤图像原始像素中的背景像素，/>为微动脉瘤图像预测像素中的背景像素；当/>为2时，/>为微动脉瘤图像原始像素中的病灶像素，/>为微动脉瘤图像预测像素中的病灶像素；采用交叉熵损失考虑到像素级别分类的准确性，Dice损失可以关注到目标间的重叠情况，采用二者的组合一定程度上可以缓解像素类别间的不平衡，提高微动脉瘤的准确性。
在一个可选的实施例中，利用单个Nvidia Tesla P100 GPU对本申请实施例设计的网络结构进行训练，训练批次大小（Batch Size)设为2，采用随机梯度下降算法Adam优化器，初始化学习率设为1e-4，每2个epoch学习率下降0.9，防止后期学习率大而不能很好地拟合；训练采用大小为512×512的图像patch，
在测试时同样采用patch，将每个patch的预测结果进行拼接得到完整的分割图像。
实施例2
参照图10~图16，为本发明的一个实施例，该实施例不同于第一个实施例的是，提供不同分割方法的对比试验，验证我方发明有益效果。
本申请实施例在IDRiD数据集上进行评估，并与现有的L-seg、MRT-SegN、RILBP-YNET以及MCA-UNet方法进行比较，评价指标为精确率和召回率的调和平均值F1以及精确率和召回率曲线下的面积AUPR，结果如表1所示：
表1评价结果
分割结果如图10至图16所示，可以看出本发明方法可有效提升微动脉瘤的分割性能。本发明在UNet网络的基础上设计了多尺度特征补偿模块以及减法融合模块，通过补偿特征提取过程中丢失的信息，从而丰富特征的多样性和有效性，提高了分割的精度。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于多尺度特征补偿的微动脉瘤分割方法，其特征在于，包括：
获取待分割微动脉瘤图像，并将所述待分割微动脉瘤图像输入至编码模块进行深度特征提取，得到多尺度特征；
将所述编码模块每相邻两层输出的多尺度特征输入多尺度特征补偿模块进行特征补偿，包括：
所述多尺度特征补偿模块引入四条并行的分支；所述分支分别采用步长为6，5，3，2和窗口大小为6×6，5×5，3×3，2×2的最大池化操作；
将当前编码器以及当前编码器下层编码器获取的多尺度特征作为第一分支的第一输入特征，所述第一分支采用第一尺度对所述第一输入特征进行最大池化操作得到第一特征信息；
利用所述第一特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将补偿后的多尺度特征融合第一输入特征作为第二分支的第二输入特征；
还包括：所述第二分支采用第二尺度对所述第二输入特征进行最大池化操作得到第二特征信息；利用所述第二特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将所述补偿后的多尺度特征融合所述第一输入特征作为第三分支的第三输入特征；
所述第三分支采用第三尺度对所述第三输入特征进行最大池化操作得到第三特征信息；利用所述第三特征信息与第一输入特征作差对多尺度特征的丢失部分信息进行补偿，将所述补偿后的多尺度特征作为第四分支的第四输入特征；
所述第四分支采用第四尺度对所述第四输入特征进行最大池化操作得到第四特征信息；
将所述多尺度特征补偿模块各分支得到的特征信息拼接并与第一输入特征相加作为减法融合模块的一侧输入；
通过减法融合模块将各个尺度下特征补偿后的特征以及所述减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块；所述减法融合模块将对应多尺度特征补偿模块的特征补偿结果，当前编码器以及当前编码器下层编码器的编码结果或当前编码器下层编码器对应解码器的解码结果拼接至解码模块；
通过所述减法融合模块将各个尺度下特征补偿后的特征以及所述减法融合模块对应层级特征的差值处理后的特征进行融合，并将融合后的特征拼接至解码模块，包括：
第一减法融合模块将当前编码器以及当前编码器下层编码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第三解码器的输入；还包括：
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权，并拼接同一级多尺度特征补偿模块的输出，作为第二解码器的输入；
第二减法融合模块将当前编码器获取的多尺度特征与当前编码器下层对应的解码器获取的多尺度特征作差加权并拼接同一级多尺度特征补偿模块的输出作为第一解码器的输入；
所述第一解码器用于输出最终微动脉瘤分割图像；
所述解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像。
2.如权利要求1所述的基于多尺度特征补偿的微动脉瘤分割方法，其特征在于，所述编码模块由依次连接的多个编码器组成，所述解码模块由依次连接的多个解码器组成。
3.如权利要求2所述的基于多尺度特征补偿的微动脉瘤分割方法，其特征在于，所述多尺度特征补偿模块与所述减法融合模块设置于所述编码器和其对应的所述解码器之间，所述多尺度特征补偿模块与所述减法融合模块对应连接，所述多尺度特征补偿模块将当前编码器以及当前编码器下层编码器的编码结果进行特征补偿处理后拼接到对应的减法融合模块。
4.如权利要求3所述的基于多尺度特征补偿的微动脉瘤分割方法，其特征在于，解码模块将融合后的特征进行解码处理，得到微动脉瘤分割图像包括：通过组合损失函数对网络进行训练获取最终微动脉瘤分割图像，总损失表示为：
其中，y为原始图像经过网络预测后的微动脉瘤分割图像，为数据集提供的微动脉瘤分割图像，N为图像像素类别数且N＝2，yi为微动脉瘤图像原始像素，/>为微动脉瘤图像预测像素。
5.如权利要求1或4所述的基于多尺度特征补偿的微动脉瘤分割方法，其特征在于，微动脉瘤分割前对获取的待分割微动脉瘤图像进行增强预处理。
CN202311689117.0A 2023-12-11 2023-12-11 一种基于多尺度特征补偿的微动脉瘤分割方法 Active CN117611610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311689117.0A CN117611610B (zh) 2023-12-11 2023-12-11 一种基于多尺度特征补偿的微动脉瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311689117.0A CN117611610B (zh) 2023-12-11 2023-12-11 一种基于多尺度特征补偿的微动脉瘤分割方法

Publications (2)

Publication Number Publication Date
CN117611610A CN117611610A (zh) 2024-02-27
CN117611610B true CN117611610B (zh) 2024-05-24

Family

ID=89956150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311689117.0A Active CN117611610B (zh) 2023-12-11 2023-12-11 一种基于多尺度特征补偿的微动脉瘤分割方法

Country Status (1)

Country Link
CN (1) CN117611610B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN115359406A (zh) * 2022-08-31 2022-11-18 江南大学 一种邮局场景人物交互行为识别方法及系统
CN116630302A (zh) * 2023-06-29 2023-08-22 中国工商银行股份有限公司 细胞图像分割方法、装置以及电子设备
CN116758090A (zh) * 2023-07-06 2023-09-15 大连理工大学 一种基于多尺度减法的医学图像分割方法
CN116823868A (zh) * 2023-07-12 2023-09-29 南京林业大学 一种黑色素肿瘤图像分割方法
CN116883341A (zh) * 2023-07-03 2023-10-13 桂林电子科技大学 一种基于深度学习的肝脏肿瘤ct图像自动分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104056A1 (zh) * 2019-11-27 2021-06-03 中国科学院深圳先进技术研究院 一种肿瘤自动分割系统、方法及电子设备
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN115359406A (zh) * 2022-08-31 2022-11-18 江南大学 一种邮局场景人物交互行为识别方法及系统
CN116630302A (zh) * 2023-06-29 2023-08-22 中国工商银行股份有限公司 细胞图像分割方法、装置以及电子设备
CN116883341A (zh) * 2023-07-03 2023-10-13 桂林电子科技大学 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116758090A (zh) * 2023-07-06 2023-09-15 大连理工大学 一种基于多尺度减法的医学图像分割方法
CN116823868A (zh) * 2023-07-12 2023-09-29 南京林业大学 一种黑色素肿瘤图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D-GA-Unet：基于3D-Ghost卷积神经网络的脑胶质瘤MRI图像分割算法;许立君;计算机应用;20231012;1-12 *
Content-based brain tumor retrieval for MR images with joint deep and handcrafted visual features;邹伟;2021 International Conference on Digital Society and Intelligent Systems (DSInS);20211231;325-331 *
M2SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation;Xiaoqi Zhao;arXiv;20230310;1-10 *

Also Published As

Publication number Publication date
CN117611610A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111612790B (zh) 一种基于t型注意力结构的医学图像分割方法
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN106600577B (zh) 一种基于深度反卷积神经网络的细胞计数方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN113538359B (zh) 一种用于指静脉图像分割的系统以及方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN116012581A (zh) 一种基于双重注意力融合的图像分割方法
CN111598844B (zh) 一种图像分割方法、装置、电子设备和可读存储介质
CN110991611A (zh) 一种基于图像分割的全卷积神经网络
CN111242949B (zh) 基于全卷积神经网络多尺度特征的眼底图像血管分割方法
CN112785581A (zh) 基于深度学习的提取训练大血管cta成像的培训方法和装置
CN116309485A (zh) 一种改进UNet网络结构的路面裂缝检测方法
CN112869704B (zh) 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法
CN114359102A (zh) 一种基于注意力机制与边缘引导的图像深度修复取证方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN117291935A (zh) 一种头颈瘤病灶区域图像分割方法及计算机可读介质
CN117726814A (zh) 基于交叉注意力和双分支池化融合的视网膜血管分割方法
CN117351487A (zh) 一种邻近区域与边缘信息融合的医学图像分割方法、系统
CN117611610B (zh) 一种基于多尺度特征补偿的微动脉瘤分割方法
CN111210398A (zh) 基于多尺度池化的白细胞识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant