CN114565617A - 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 - Google Patents

基于剪枝U-Net++的乳腺肿块图像分割方法及系统 Download PDF

Info

Publication number
CN114565617A
CN114565617A CN202210033672.7A CN202210033672A CN114565617A CN 114565617 A CN114565617 A CN 114565617A CN 202210033672 A CN202210033672 A CN 202210033672A CN 114565617 A CN114565617 A CN 114565617A
Authority
CN
China
Prior art keywords
net
ultrasound image
breast ultrasound
pruning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210033672.7A
Other languages
English (en)
Inventor
付超
吕晗笑
王冬越
常文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210033672.7A priority Critical patent/CN114565617A/zh
Publication of CN114565617A publication Critical patent/CN114565617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于剪枝U‑Net++的乳腺肿块图像分割方法及系统，涉及超声图像分割技术领域。本发明构建的剪枝U‑Net++的乳腺肿块图像分割模型，是基于U‑Net++网络，利用跳跃连接融合各分支U‑Net的特征表达，并引入残差连接代替U‑Net++方法中的密集连接，利用该模型对获取的原始乳腺超声图像进行分割。本发明所构建的剪枝U‑Net++乳腺超声图像分割模型，在对乳腺超声图像中的肿块进行分割时，可避免因医疗图像数据存在小数据集问题而导致的模型过拟合问题，提高了超声图像乳腺肿块分割模型的泛化能力；同时，模型参数的规模远小于现有技术，降低了网络模型的复杂度，可缩短网络训练的计算时间，减少网络训练的内存占用，提高了模型训练效率。

Description

基于剪枝U-Net++的乳腺肿块图像分割方法及系统
技术领域
本发明涉及超声图像分割技术领域，具体涉及一种基于剪枝U-Net++的乳腺肿块图像分割方法及系统。
背景技术
乳腺B超检查是检测和分类乳房异常最常用方式之一,医生根据患者体征与超声图像中乳腺肿块的特征给出诊断意见并对乳腺疾病进行分类。但受限于医生诊断经验与精力，超声图像中乳腺肿块的辨别存在耗费时间长、准确度较低等问题。随着计算机技术的飞速发展，计算机辅助诊断技术逐渐参与到医疗诊断过程当中，如何在复杂的乳腺超声图像中高效精准地识别和分割出肿块是目前亟需解决的问题。
目前，用于超声图像分割的方法有基于图像处理的传统方法(如，固定阈值分割法、直方图双峰法等)和基于深度学习的方法(如，U-Net，U-Net++等)。
由于先验知识是基于图像处理的传统方法的核心，然而通过先验知识对乳腺超声图像特征的分析具有局限性，因此仅仅依赖于传统分割方法无法对超声图像进行像素级别的准确分割。U-Net方法将差异较大的深层、浅层特征直接连接，会导致部分浅层特征丢失，从而加大网络的学习难度。U-Net++方法中用长、短连接相结合的方式取代原有的单一长连接，会增加网络模型的复杂度，降低网络训练效率。此外，医疗图像数据存在小数据集问题，会导致过拟合的产生，不利于分割准确度的提高与分割模型的泛化，同时U-Net++方法没有考虑层级之间关联的冗余信息剪枝会导致计算时间长、效率低。可见，现有技术无法实现在小数据集的情况下高效、精准的对乳腺超声图像进行分割。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于剪枝U-Net++的乳腺肿块图像分割方法及系统，解决了现有技术无法在小数据集的情况下对乳腺超声图像进行高效、精准分割的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明首先提出了一种基于剪枝U-Net++的乳腺肿块图像分割方法，所述方法包括：
获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
优选的，所述对所述原始乳腺超声图像进行预处理包括：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像；
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸；
S13、对尺寸统一后的PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理；
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集。
优选的，所述方法还包括：在所述S2步骤之后且在所述S3步骤之前对所述剪枝U-Net++乳腺超声图像分割模型进行模型训练。
优选的，所述模型训练包括：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数；
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值；
S23、基于模型预测值和真实值通过损失函数确定损失值；
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
优选的，所述损失函数包括BCEWithLogitsLoss函数。
第二方面，本发明还提出了一种基于剪枝U-Net++的乳腺肿块图像分割系统，所述系统包括：
图像获取和处理模块，用于获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
模型构建模块，用于基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
图像分割模块，用于基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
优选的，所述图像获取和处理模块对所述原始乳腺超声图像进行预处理包括：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像；
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸；
S13、对尺寸统一后的PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理；
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集。
优选的，所述系统还包括模型训练模块，用于在剪枝U-Net++乳腺超声图像分割模型构建之后且在乳腺超声图像分割之前对所述剪枝U-Net++乳腺超声图像分割模型进行模型训练。
优选的，所述模型训练模块进行模型训练时包括：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数；
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值；
S23、基于模型预测值和真实值通过损失函数确定损失值；
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
优选的，所述损失函数包括BCEWithLogitsLoss函数。
(三)有益效果
本发明提供了一种基于剪枝U-Net++的乳腺肿块图像分割方法及系统。与现有技术相比，具备以下有益效果：
1、本发明的基于剪枝U-Net++的乳腺肿块图像分割方法及系统，基于U-Net++网络，利用跳跃连接融合各分支U-Net的特征表达，并引入残差连接代替U-Net++方法中的密集连接，构建剪枝U-Net++乳腺超声图像分割模型，然后利用该模型对获取的原始乳腺超声图像进行分割。本发明技术方案中所构建的剪枝U-Net++乳腺超声图像分割模型，在对乳腺超声图像中的肿块进行分割时，可避免因医疗图像数据存在小数据集问题而导致的模型过拟合问题，提高了超声图像乳腺肿块分割模型的泛化能力；同时，该技术方案所构建的剪枝U-Net++乳腺超声图像分割模型的参数规模远小于现有技术，这直接降低了网络模型的复杂度，在一定程度上缩短了网络训练的计算时间，减少了网络训练的内存占用，提高了模型训练效率。
2、本发明中通过特征叠加方式的跳跃连接实现从浅层特征到深层特征的映射，融合每个子网络同一层次、不同层次间的深浅层特征，弥补了现有技术中U-Net方法存在特征连接语义鸿沟的缺陷，可以更好地从模型中提取图像特征，提高超声图像乳腺肿块的分割效果。
3、本发明中在子网络中间层采用残差连接，将输出的特征图仅与前一层的特征进行通道维级联，相比于U-Net++网络中的密集连接，该过程可在降低网络特征图通道维冗余信息的情况下，同时有效地考虑特征图上下文信息，从而达到在抓取图像深层次特征的同时，兼顾网络的剪枝优化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于剪枝U-Net++的乳腺肿块图像分割方法的流程图；
图2为本发明实施例中剪枝U-Net++乳腺超声图像分割模型的网络架构图；
图3为本发明实施例中基于剪枝U-Net++乳腺超声图像分割模型分割后的结果图；
图4为本发明实施例中基于剪枝U-Net++乳腺超声图像分割方法和现有两种分割方法的分割结果对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于剪枝U-Net++的乳腺肿块图像分割方法及系统，解决了现有技术无法在小数据集的情况下对乳腺超声图像进行高效、精准分割的问题，实现提高乳腺超声图像中肿块分割在小数据集情况下的准确度和效率问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
为了克服现有的乳腺超声图像因为小数据集而导致乳腺肿块图像在进行分割时出现过拟合，从而使得乳腺超声图像分割结果准确率低且分割模型泛化能力差的问题，同时克服现有技术中乳腺超声图像分割模型网络复杂，导致分割时计算量大、时间长、效率低等问题，本发明利用跳跃连接融合各分支U-Net的特征表达，并引入残差连接代替U-Net++方法中的密集连接，基于深监督方法权衡在不同网络深度下的训练精度和速度，基于网络剪枝方法降低U-Net++网络层级之间的特征图通道冗余信息，从而构建剪枝U-Net++乳腺超声图像分割模型，基于该模型对原始乳腺超声图像进行分割，相比于现有技术效率更高、精准度更高。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
第一方面，参见图1，本发明首先提出了一种基于剪枝U-Net++的乳腺肿块图像分割方法，该方法包括：
S1、获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
S2、基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
S3、基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
可见，本实施例的基于剪枝U-Net++的乳腺肿块图像分割方法及系统，基于U-Net++网络，利用跳跃连接融合各分支U-Net的特征表达，并引入残差连接代替U-Net++方法中的密集连接，构建剪枝U-Net++乳腺超声图像分割模型，然后利用该模型对获取的原始乳腺超声图像进行分割。本发明技术方案中所构建的剪枝U-Net++乳腺超声图像分割模型，在对乳腺超声图像中的肿块进行分割时，可避免因医疗图像数据存在小数据集问题而导致的模型过拟合问题，提高了超声图像乳腺肿块分割模型的泛化能力；同时，该技术方案所构建的剪枝U-Net++乳腺超声图像分割模型的参数规模远小于现有技术，这直接降低了网络模型的复杂度，在一定程度上缩短了网络训练的计算时间，减少了网络训练的内存占用，提高了模型训练效率。
下面我们以一家三甲医院采集的乳腺超声图像数据集为例，参见图1-4，并结合对具体步骤的解释，来详细说明本发明一个实施例的实现过程。
S1、获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理。
1)获取原始乳腺超声图像。
为了保证数据集的真实、可靠性，同时验证本技术方案中剪枝U-Net++的乳腺肿块图像分割模型的普适性和泛化能力，本实施例以来自中国安徽合肥市一家三甲医院采集的乳腺超声图像数据集为例，数据集中图像分别由不同B超机在不同患者身上采集。每位患者可能对应多张乳腺超声图像，包括横切与纵切等不同方向的灰阶图像。给定医院采集的乳腺超声图像，每一张图像均由经验丰富的超声科临床医生精确勾勒出乳腺肿块的轮廓，用于模型的训练与测试。
2)对上述获取的原始乳腺超声图像进行预处理。
为了加快网络模型训练速度与提高分割结果准确度，需对格式为DICOM、分辨率高达1260×910像素的原始乳腺超声图像数据集进行标准化归一化处理，具体操作如下：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像。
由于乳腺超声图像的感兴趣区域为灰度图像，因此将三通道的灰度图像转化为单通道灰度图像将不会损失图像特征信息，同时能够降低图像通道维度。所以针对格式为DICOM的原始乳腺超声灰阶图像，为简化模型训练过程，我们将三通道灰度图像转化为单通道灰度图像，同时为了降低图像文件大小以加快网络训练速度，将DICOM格式原始乳腺超声图像另存为PNG图像格式，与此同时保持图像分辨率不变，保留了图像的特征信息。
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸。
通过对PNG格式原始乳腺超声图像进行统一裁剪，降低无关噪声区域的影响，从而可以聚焦感兴趣目标病灶区域，同时也能够删除患者敏感信息。另外，为便于网络模型的训练参数设置，将裁剪后的图像统一缩放为同一尺寸。
S13、对PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理。
由于乳腺图像的像素值矩阵取值均在0-255范围内，一定程度上会降低网络的学习效率，为实现统一在[0,1]之间进行的概率计算、加快网络模型的学习速度，对乳腺超声图像的像素值矩阵进行归一化处理，将其统一到[0,1]的区间内。
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集
按一定比例将乳腺超声图像数据集随机划分为训练集与测试集，其中，测试集和训练集均具有标签，以便后续模型测试时比对分割的准确度。一般，我们按照按4：1的比例随机划分为训练集与测试集。
S2、基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接。
本实施例采用卷积神经网络(CNN)方法基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型。本实施例构建的剪枝U-Net++乳腺超声图像分割模型，是在U-Net++网络的基础上，通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接。具体的，本实施例所构建的剪枝U-Net++乳腺超声图像分割模型的网络结构如图2所示，其主要包括输入层、隐藏层与输出层。
1)剪枝U-Net++乳腺超声图像分割模型的主干网络。
本实施例所提出的剪枝U-Net++乳腺超声图像分割模型基于编码器-解码器结构的核心思想，主干网络沿用U-Net方法编码器-解码器的对称网络架构，兼顾深层特征的提取与浅层特征的找回。本实施例的剪枝U-Net++乳腺超声图像分割模型在编码路径提供四次下采样层，在解码路径提供四次上采样层，以便充分提取图像的深层与浅层特征。其中，每个下采样层均包括卷积层与池化层，两个串联的3×3卷积层保证在卷积核具有相同感受野的前提下拥有更少的参数，一个最大池化层保证在缩减模型规模的基础上保留图像最显著的特征；每个上采样层由一个2×2反卷积层组成，用于将下采样层提取的特征图恢复到原始图像的分辨率；在每一层操作后采用计算复杂度低、收敛效果好的ReLU函数作为激活函数，实现输入数据从线性至非线性的映射。
2)对网络进行剪枝操作。
基于上述主干网络及U-Net++方法的思路，本实施例中为保留每一层次所提取的特征，在每一层下采样层即进行上采样操作，解决了浅层简单特征被忽略的问题，整体把握图像数据的深层与浅层特征；通过跳跃连接将同一层次深浅层特征进行叠加，实现了因网络层数加深而丢失的边缘特征的找回；综合长连接与短连接将不同层次间特征进行叠加，缩小了直接将差异较大的深层与浅层特征结合的语义鸿沟，提高了解码路径中还原原始图像尺寸的效果。其中，本实施例在子网络中间层采用残差连接，将输出的特征图仅与前一层的特征进行通道维级联，相比于U-Net++网络中的密集连接，该过程可在降低网络特征图通道维冗余信息的情况下，同时有效地考虑特征图上下文信息，从而达到在抓取图像深层次特征的同时，兼顾网络的剪枝优化。
为了保证本实施例中所构建的剪枝U-Net++乳腺超声图像分割模型分割时的准确度和分割效率能达到预期效果，需要对构建的剪枝U-Net++乳腺超声图像分割模型进行训练。剪枝U-Net++乳腺超声图像分割模型在实际训练时，主要包括如下步骤：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数。
随机初始化剪枝U-Net++乳腺超声图像分割模型的参数。
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值。
将训练集所有数据(带标签)分成多个批次，分批次输入到所构建的剪枝U-Net++乳腺超声图像分割模型中，并通过前向传播计算预测值，即通过剪枝U-Net++模型针对图像所示全部像素点进行二分类，得到预测值。
S23、基于模型预测值和真实值通过选择的损失函数确定损失值。
考虑到图像语义分割的本质是像素点的分类问题，即对图像所示全部像素点进行二分类。因此，乳腺肿块区域的识别本质上属于二分类任务，可以使用BCEWithLogitsLoss函数来计算二分类交叉熵。具体的，比较预测值与真实值之间的差距，即结合标签值与预测值计算每个像素点的损失值，并将所有像素点损失值的平均值作为所对应乳腺超声图像的损失值。
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
在训练过程中可以通过调整参数值来改变损失函数的函数值从而得到一个具备更好性能的模型。其思想就是在模型训练结束时使损失函数值趋于最小值，此时的模型认为是性能最好的模型。因此，网络训练的调参过程就被转化为求损失函数最小化的过程。我们通过反向传播确定梯度向量并更新梯度，即通过梯度向量调整参数，并通过自适应学习率确定每次参数更新的幅度，使得损失值趋于最小值。经过小批量多轮次训练后即可确定剪枝U-Net++乳腺超声图像分割模型的最佳参数。具体的，
本实施例沿用U-Net与U-Net++方法中使用的自适应学习率的算法——RMSprop优化算法，假设批处理采集自训练集中的m个样本{x(1),…,x(m)}，对应分割结果为y(i)，损失函数梯度为
Figure BDA0003467457780000111
累计平方梯度为r←ρr+(1-ρ)g⊙g，则样本值的更新如下：
Figure BDA0003467457780000112
其中，ε表示全局学习率，ρ表示衰减速率，θ表示初始参数，δ＝10-6，r表示初始化累积变量。
重复每一个epoch，直到损失函数的平均值不再下降(或下降至最低点)时停止训练。此时获得的参数即为模型训练后所获得的最佳的参数。
S3、基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
基于上述步骤构建以及经过训练之后的剪枝U-Net++乳腺超声图像分割模型，即可实现对原始乳腺超声图像进行高效、精准分割。如图3所示，为本实施例利用剪枝U-Net++乳腺超声图像分割模型进行分割后获取的分割结果。图中展示了3张经过剪枝U-Net++方法的乳腺超声图像的分割结果，从图3(a)-图3(c)分别为经过标准化归一化后的乳腺超声图像、针对乳腺肿块的超声科临床医生标注结果以及针对乳腺肿块的剪枝U-Net++方法分割结果。
为了验证本实施例所提方法对乳腺超声图像进行分割时的有效性，将原有基于U-Net方法与基于U-Net++方法的分割结果与本方法分割结果进行对比，实验结果如图4所示。由图可知，使用剪枝U-Net++方法对乳腺超声图像进行分割的结果更接近于医生标注结果，且勾勒出的乳腺肿块轮廓更为平滑，细节方面的处理也更加理想，从定性角度验证了本实施例所提方法的有效性。
在相同训练集、测试集情况下，原有两种技术方法与本实施例所提方法在训练集上的分割效果差距不大，为定量说明本专利所提方法的有效性，在同一测试集上将本实施例所提方法与原有U-Net/U-Net++方法分割结果进行比较。
基于剪枝U-Net++方法的乳腺超声图像分割模型的评估指标主要有定量精度、视觉质量、分割效率(推断时间)及模型复杂度(参数规模)等方面，其中，用于量化模型准确性的平均交互比(Mean Intersection over Union)与交互比方差(Variance ofIntersection over Union)最为重要。
交互比(IoU)是图像语义分割专用的评价标准，用于衡量模型分割结果与医生标注结果间的接近程度，意为模型分割结果与医生标注结果的重合面积同模型分割结果与医生标注结果的并集面积的比值，具体的，交互比的值越大，表明乳腺超声图像分割结果越好；
平均交互比(mIoU)是所有类别交互比的平均值，用于衡量模型分割效果的全局情况。一般根据不同类别进行计算，将每一类别的交互比计算之后进行累加与平均计算；
交互比方差(Variance ofIntersection overUnion)是所有类别交互比的方差，用于衡量模型分割效果的稳定性，其中，对交互比方差取算术平方根，即得到交互比标准差。
在同一测试集上将本实施例所提方法与原有U-Net/U-Net++方法分割结果进行比较的交互比进行比较，实验结果如表1所示。
表1与原有技术方法IoU对比结果
Figure BDA0003467457780000131
由表可知，直接利用原始U-Net方法和改进后的U-Net方法(U-Net++)所训练模型的图像分割的平均交互比相对较低，而通过残差连接代替密集连接对U-Net++方法进行适当剪枝后，训练所得模型的图像分割的平均交互比有所提升，且不同测试图像数据交互比的分布较为集中，说明本实施例所提方法可以提高图像分割的准确度。此外，剪枝U-Net++方法在测试集上的分割效果优于原有两种技术方法，说明本专利所提方法可以更有效地应对网络模型过拟合问题。
为进一步验证本实施例所提方法在训练效率方面的优势，在相同测试集下对比了本实施例所提方法与原有方法的参数规模，如表2所示，其中剪枝U-Net++方法的参数规模远小于原有技术方法，说明本实施例所提方法可以有效降低网络模型复杂度、减少模型训练的计算量、提高模型训练的效率。
表2与原有技术方法参数规模对比结果
Figure BDA0003467457780000132
至此，则完成了本发明一种基于剪枝U-Net++的乳腺肿块图像分割方法的全部过程。
实施例2：
第二方面，本发明还提供了一种基于剪枝U-Net++的乳腺肿块图像分割系统，该系统包括：
图像获取和处理模块，用于获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
模型构建模块，用于基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
图像分割模块，用于基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
可选的，所述图像获取和处理模块对所述原始乳腺超声图像进行预处理包括：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像；
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸；
S13、对尺寸统一后的PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理；
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集。
可选的，所述系统还包括模型训练模块，用于在剪枝U-Net++乳腺超声图像分割模型构建之后且在乳腺超声图像分割之前对所述剪枝U-Net++乳腺超声图像分割模型进行模型训练。
可选的，所述模型训练模块进行模型训练时包括：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数；
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值；
S23、基于模型预测值和真实值通过损失函数确定损失值；
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
可选的，所述损失函数包括BCEWithLogitsLoss函数。
可理解的是，本发明实施例提供的基于剪枝U-Net++的乳腺肿块图像分割系统与上述基于剪枝U-Net++的乳腺肿块图像分割方法相对应，其有关内容的解释、举例、有益效果等部分可以参照基于剪枝U-Net++的乳腺肿块图像分割方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明的基于剪枝U-Net++的乳腺肿块图像分割方法及系统，基于U-Net++网络，利用跳跃连接融合各分支U-Net的特征表达，并引入残差连接代替U-Net++方法中的密集连接，构建剪枝U-Net++乳腺超声图像分割模型，然后利用该模型对获取的原始乳腺超声图像进行分割。本发明技术方案中所构建的剪枝U-Net++乳腺超声图像分割模型，在对乳腺超声图像中的肿块进行分割时，可避免因医疗图像数据存在小数据集问题而导致的模型过拟合问题，提高了超声图像乳腺肿块分割模型的泛化能力；同时，该技术方案所构建的剪枝U-Net++乳腺超声图像分割模型的参数规模远小于现有技术，这直接降低了网络模型的复杂度，在一定程度上缩短了网络训练的计算时间，减少了网络训练的内存占用，提高了模型训练效率。
2、本发明中通过特征叠加方式的跳跃连接实现从浅层特征到深层特征的映射，融合每个子网络同一层次、不同层次间的深浅层特征，弥补了现有技术中U-Net方法存在特征连接语义鸿沟的缺陷，可以更好地从模型中提取图像特征，提高超声图像乳腺肿块的分割效果。
3、本发明中在子网络中间层采用残差连接，将输出的特征图仅与前一层的特征进行通道维级联，相比于U-Net++网络中的密集连接，该过程可在降低网络特征图通道维冗余信息的情况下，同时有效地考虑特征图上下文信息，从而达到在抓取图像深层次特征的同时，兼顾网络的剪枝优化。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于剪枝U-Net++的乳腺肿块图像分割方法，其特征在于，所述方法包括：
获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
2.如权利要求1所述的方法，其特征在于，所述对所述原始乳腺超声图像进行预处理包括：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像；
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸；
S13、对尺寸统一后的PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理；
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述S2步骤之后且在所述S3步骤之前对所述剪枝U-Net++乳腺超声图像分割模型进行模型训练。
4.如权利要求3所述的方法，其特征在于，所述模型训练包括：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数；
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值；
S23、基于模型预测值和真实值通过损失函数确定损失值；
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
5.如权利要求4所述的方法，其特征在于，所述损失函数包括BCEWithLogitsLoss函数。
6.一种基于剪枝U-Net++的乳腺肿块图像分割系统，其特征在于，所述系统包括：
图像获取和处理模块，用于获取原始乳腺超声图像并对所述原始乳腺超声图像进行预处理；
模型构建模块，用于基于U-Net++网络构建剪枝U-Net++乳腺超声图像分割模型；所述剪枝U-Net++乳腺超声图像分割模型包括：通过跳跃连接融合各分支U-Net的特征表达，同时引入残差连接取代U-Net++网络中的密集连接；
图像分割模块，用于基于所述剪枝U-Net++乳腺超声图像分割模型对所述原始乳腺超声图像进行分割。
7.如权利要求6所述的系统，其特征在于，所述图像获取和处理模块对所述原始乳腺超声图像进行预处理包括：
S11、针对DICOM格式原始乳腺超声灰阶图像，将三通道灰度图像转化为单通道灰度图像，并在保持图像分辨率不变的前提下将DICOM格式原始乳腺超声图像另存为PNG格式乳腺超声图像；
S12、对PNG格式原始乳腺超声图像进行统一裁剪，并将裁剪后的PNG格式原始乳腺超声图像统一缩放为同一尺寸；
S13、对尺寸统一后的PNG格式原始乳腺超声图像的像素值矩阵进行归一化处理；
S14、将经过归一化处理后的乳腺超声图像数据集按一定比例随机划分为训练集与测试集。
8.如权利要求6所述的系统，其特征在于，所述系统还包括模型训练模块，用于在剪枝U-Net++乳腺超声图像分割模型构建之后且在乳腺超声图像分割之前对所述剪枝U-Net++乳腺超声图像分割模型进行模型训练。
9.如权利要求8所述的系统，其特征在于，所述模型训练模块进行模型训练时包括：
S21、初始化剪枝U-Net++乳腺超声图像分割模型的参数；
S22、组织训练集数据训练剪枝U-Net++乳腺超声图像分割模型并得到模型预测值；
S23、基于模型预测值和真实值通过损失函数确定损失值；
S24、基于反向传播方法，通过随机梯度下降法优化剪枝U-Net++乳腺超声图像分割模型的参数，得到最佳参数。
10.如权利要求9所述的系统，其特征在于，所述损失函数包括BCEWithLogitsLoss函数。
CN202210033672.7A 2022-01-12 2022-01-12 基于剪枝U-Net++的乳腺肿块图像分割方法及系统 Pending CN114565617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210033672.7A CN114565617A (zh) 2022-01-12 2022-01-12 基于剪枝U-Net++的乳腺肿块图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210033672.7A CN114565617A (zh) 2022-01-12 2022-01-12 基于剪枝U-Net++的乳腺肿块图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN114565617A true CN114565617A (zh) 2022-05-31

Family

ID=81711908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210033672.7A Pending CN114565617A (zh) 2022-01-12 2022-01-12 基于剪枝U-Net++的乳腺肿块图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN114565617A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047608A (zh) * 2019-12-26 2020-04-21 北京工业大学 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113192076A (zh) * 2021-04-09 2021-07-30 湖北工业大学 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111047608A (zh) * 2019-12-26 2020-04-21 北京工业大学 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113192076A (zh) * 2021-04-09 2021-07-30 湖北工业大学 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴宣言;缑新科;朱子重;魏域林;王凯;: "深层聚合残差密集网络的超声图像左心室分割", 中国图象图形学报, no. 09, 30 September 2020 (2020-09-30) *
贡荣麟;施俊;王骏;: "面向乳腺超声图像分割的混合监督双通道反馈U-Net", 中国图象图形学报, no. 10, 31 October 2020 (2020-10-31) *
邢妍妍;杨丰;唐宇姣;张利云;: "融合型UNet++网络的超声胎儿头部边缘检测", 中国图象图形学报, no. 02, 29 February 2020 (2020-02-29) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN116843691B (zh) * 2023-09-01 2024-01-26 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备

Similar Documents

Publication Publication Date Title
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN111798416B (zh) 基于病理图像与深度学习的肾小球智能检测方法及系统
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
JP2022538866A (ja) 画像前処理のためのシステム及び方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN114926477B (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN112819821B (zh) 一种细胞核图像检测方法
CN111598867B (zh) 用于检测特定面部综合征的方法、装置及计算机可读存储介质
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN114066884B (zh) 视网膜血管分割方法及装置、电子设备和存储介质
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN114494215A (zh) 基于Transformer的甲状腺结节检测方法
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
CN112508902A (zh) 白质高信号分级方法、电子设备及存储介质
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN114519705A (zh) 一种用于医学选拔与鉴定的超声标准数据处理方法及系统
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
CN113409273B (zh) 一种图像分析方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination