CN114913327A - 一种基于改进U-Net的下肢骨骼CT图像分割算法 - Google Patents

一种基于改进U-Net的下肢骨骼CT图像分割算法 Download PDF

Info

Publication number
CN114913327A
CN114913327A CN202210535354.0A CN202210535354A CN114913327A CN 114913327 A CN114913327 A CN 114913327A CN 202210535354 A CN202210535354 A CN 202210535354A CN 114913327 A CN114913327 A CN 114913327A
Authority
CN
China
Prior art keywords
channel
feature
convolution
bone
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210535354.0A
Other languages
English (en)
Inventor
童晶
刘金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202210535354.0A priority Critical patent/CN114913327A/zh
Publication of CN114913327A publication Critical patent/CN114913327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于改进U‑Net的下肢骨骼CT图像分割算法，包括：获得CT数据集；将CT数据集按比例划分，构建为训练集与测试集，将获得数据增强和裁剪后的训练集导入改进的U‑Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合获取预测图；将预测图与对应的金标准对比图进行对比，获得网络损失函数，并导入反向传播训练模型计算，获得网络训练参数优化改进的U‑Net网络，并将测试集数据导入优化后的改进的U‑Net网络，对优化改进的U‑Net网络的性能进行评分，选择性能评分高于其它的优化改进的U‑Net网络进行分割。本发明弥补了U‑Net算法的部分不足和充分利用骨骼CT图像的特征，实现了精准的医学CI图像分割。

Description

一种基于改进U-Net的下肢骨骼CT图像分割算法
技术领域
本发明属于医学图像语义分割技术领域，具体涉及一种基于改进U-Net的下肢骨骼CT图像分割算法。
背景技术
现有分割算法大致分为两者中：基于阈值分割的算法；基于神经网络的分割算法。基于阈值分割的算法核心在于找到一个较为合适的阈值来分割骨骼与其余组织，但这类算法过于依赖数据的好坏。即使许多研究从图像本身出发，提高图像聚类与分割的准确性，但仍然存在分割精度较低的问题。基于神经网络的分割算法与传统的分割算法相比，神经网络算法拥有大量可学习神经元参数与非线性的表达,可以很好的去除CT数据中的噪声，提取骨骼特征。但现有的网络模型无法利用骨骼CT图像的特点，也无法实现精确分割。
发明内容
发明目的：为了克服现有技术中的不足，本发明提供一种基于改进U-Net的下肢骨骼CT图像分割算法，该方法基于U-Net算法做改进，弥补了U-Net算法的部分不足和充分利用骨骼CT图像的特征，实现了较为准确的分割能力。
技术方案：第一方面本发明提供一种基于改进U-Net的下肢骨骼CT图像分割算法，包括：
对采集的患者下肢骨骼CT图像进行标注，获得CT数据集；
将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集；
将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图；
将预测图与对应的金标准对比图进行对比，获得网络损失函数；
将网络损失函数导入反向传播训练模型计算，获得网络训练参数；
利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分；
选择性能评分高于其它的优化改进的U-Net网络导入CT数据集进行CT图像分割。
在进一步的实施例中，将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集包括：
对CT数据集沿Axial方向切片，生成共8000张dcm格式的二维CT图像，并将CT数据集以8:2比例划分为训练集与测试集；其中设置CT数据集的HU值为[1000-1500]的窗位大小；
将筛选训练集中包含较多骨骼的图像进行裁剪，获得包含较多骨骼图像的小尺寸训练样本；
对较多骨骼图像的小尺寸训练样本进行数据增强，获得数据增强和裁剪后的训练数据集；
其中，裁剪区域的约束公式为：
Figure BDA0003647803130000021
式中，N表示为当前区域骨骼像素的总数，i表示当前随机裁剪的次数，i取值[1,100]；
数据增强方法每次输入网络进行训练时进行三种操作包括：随机旋转、随机水平反转、光度失真。
在进一步的实施例中，将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图的方法包括：
训练集中的多个小尺寸训练样本输入改进的U-Net网络的下采样模块进行多层卷积的计算，提取网络编码的骨骼特征图，其中对每层卷积输出的特征图进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；
将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征；
其中，下采样模块的卷积层为3，卷积核大小为3×3，步长为1，第一层下采样模块通道数为64，第二层下采样模块通道数为128；第三层下采样模块通道数为256；
将网络编码的骨骼特征图输入上采样模块进行多层卷积计算，输出网络解码的骨骼特征图，其中，每层卷积输出的特征信息进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；上采样模块的卷积层数为3，卷积核大小为1×1，步长为1，第一层上采样模块通道数为256；第二层上采样模块通道数为128；第三层上采样模块通道数为64；
将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图。
在进一步的实施例中，将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征的方法包括：
特征图X输入第一空洞卷积层，输出生成特征图X1；其中第一空洞卷积层的空洞卷积率为3，卷积核大小为3，步长为1，输入输出通道相同，
将特征图X与X1按通道维度融合输入第二空洞卷积层，输出生成特征图X2；其中第二空洞卷积层空洞卷积率为5，卷积核大小为3，步长为1，输入通道为2n，输出通道为n；
将特征图X、特征图X1、特征图X2按通道维度融合输入第三空洞卷积层，输出生成特征图X3；其中第三空洞卷积层空洞卷积率为7，卷积核大小为3，步长为1，输入通道为3n，输出通道为n；
将特征图X、特征图X1、特征图X2、特征图X3按通道维度融合第四空洞卷积层，输出细小骨骼特征；其中第四空洞卷积层卷积核大小为1，步长为1，输入通道数为4n，输出通道为n的卷积；
其中，模型操作公式为：
Figure BDA0003647803130000031
Y＝Conv3x3([X3,X2,X1,X])
式中，X代表输入,Xi代表中间操作的输出,Y代表最终输出,di代表空洞率,Conv代表空洞卷积操作，[Xi-1,Xi-2,...,X1]或[X3,X2,X1,X]代表通道维度连接。
每一层的输入都是前面所有中间操作的输出通道连接，最后通过卷积操作降低维度作为输出；空洞率的选取也决定着信息提取的好坏,，较差的空洞率组合会带来网格效应。
在进一步的实施例中，将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；
将从上采样模块得来的高维度特征H按通道维度随机平分生成特征图H1、特征图H2类别，将低维度特征经过卷积核大小为1×1，步长为1，输入输出通道数相同的卷积层实现跨域操作生成L；
特征图H1与L通过通道注意力分支生成通道注意力特征Fc，特征图H2与L通过空间注意力分支生成空间注意力特征Fs；
通过通道注意力特征Fc与空间注意力特征Fs，获得通道权重和空间权重；
将通道权重和空间权重分别按照通道维度融合后通过卷积操作进行通道降维，获得融合后的通道权重和空间权重；
根据融合后的通道权重和空间权重，输出生成预测图。
在进一步的实施例中，通道注意力特征Fc获得通道权重的方法包括：
对特征图H1每一个通道做全局平均池化来获取当前通道的全局特征；
对当前通道的全局特征使用卷积核大小为1×1，输入通道为n,输出通道为n/r的卷积操作，生成通道注意力第一积卷层的特征图；
对通道注意力第一积卷层的特征图使用卷积核大小为1×1，输入通道为n/r,输出通道为n的卷积操作；生成通道注意力第二积卷层的特征图；
通道注意力第二积卷层的特征图通过Relu激活函数和Sigmoid函数变换后生成通道输出权重；
通道分支公式为：
ωC＝Conv1x1(Conv1x1(GAP([H1,L])))
FC＝Sigmoid(ωC)*[H1,L]
式中，ωC为根据特征图求得的通道权重，H1为随机分配的高维度特征，L为低维度特征，Conv表示卷积核为1x1的卷积操作；GAP表示为全局平均池化；Sigmoid代表S函数，[H1,L]表示为通道维度的连接。
在进一步的实施例中，空间注意力特征Fs获得空间权重的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；并将高维度特征H、低维度特征L相加；
分别对相加后的特征做通道上的最大池化与平均池化两种操作，分别获取两个特征图通道；
将获取到的两个特征图进行通道连接，生成通道数为1的特征图，其中，通道连接为经过一个卷积核大小为7×7的卷积层操作；
将通道数为1的特征图利用Sigmoid函数变化后作为高维度和低维度融合后的空间权重；
空间分支公式为：
ωS＝Conv([(AvgPool(H2+L),MaxPool(H2+L)])
FS＝Sigmoid(ωS)*(H2+L)；
式中，ωS为根据特征图求得的空间权重，H2为随机分配的高维度特征，MaxPool()为最大池化操作，AvgPool()为平均池化操作。
在进一步的实施例中，反向传播训练模型采用SGD优化器来对模型参数训练优化,并使用poly学习策略对学习率进行调整,表达式为：
Figure BDA0003647803130000051
式中，lr为初始学习率，power为学习率衰减的变化程度，total_epoch为最大训练次数,epoch为当前训练次数，batch_size为训练过程中每次训练的样本数量。
在进一步的实施例中，将满足金标准的预测图导入反向传播训练模型计算，获得网络训练参数过程中，反向传播训练模型采用损失函数对导入的预测图进行计算，表达式为：
Lloss＝LDice+αLFocal
式中，Lloss为模型总损失，LDice为dice系数损失，LFocal为focal损失，α为中和两种损失的权重系数。
在进一步的实施例中，利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分的表达式为：
Dice＝2TP/(2TP+FP+FN)
IoU＝TP/(TP+FP+FN)
Recall＝TP/(TP+FN)
Precision＝TP/(TP+FP)
式中，TP(True Positives)、TN(True Negatives)、FP(False Positives)、FN(False Negatives)依次表示为预测和标签均为骨骼像素点数量(真阳性)、预测和标签均为背景像素点数量(真阴性)、预测为骨骼和标签为背景的像素点数量(假阳性)、预测为背景和标签为骨骼的像素点数量(假阴性)；Dice为dice评价系数，IoU为骨骼像素交并比，Recall为骨骼像素召回率，Precision为骨骼像素准确率。
有益效果：本发明与现有技术相比具有以下优点：
基于U-Net算法做改进，在网络编码阶段，使用密集连接的空洞卷积模块加强骨骼特征的提取；在网络解码阶段,使用结合注意力机制的融合模块充分利用空间信息与语义信息,改善骨骼信息丢失的问题，弥补了U-Net算法的部分不足和充分利用骨骼CT图像的特征，实现了精准的医学CI图像分割。
附图说明
图1是CT数据图像与金标准的对比图；
图2是CT数据图像经过U-Net网络处理后的实施例图；
图3是密集连接的多尺度卷积模块的结构示意图；
图4是结合注意力机制的融合模块的结构示意图；
图5是多个样本2D预测结果对比图；
图6是多个样本3D预测结果对比图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
如图1至图6所示进一步说明本实施例中的一种基于改进U-Net的下肢骨骼CT图像分割算法包括如下步骤：
对采集的患者下肢骨骼CT图像进行标注，获得CT数据集；
将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集；
将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图；
将预测图与对应的金标准对比图进行对比，获得网络损失函数；
将网络损失函数导入反向传播训练模型计算，获得网络训练参数；
利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分；
选择性能评分高于其它的优化改进的U-Net网络导入CT数据集进行CT图像分割。
将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集包括：
对CT数据集沿Axial方向切片，生成共8000张dcm格式的二维CT图像，并将CT数据集以8:2比例划分为训练集与测试集；其中设置CT数据集的HU值为[1000-1500]的窗位大小；
将筛选训练集中包含较多骨骼的图像进行裁剪，获得包含较多骨骼图像的小尺寸训练样本；
对较多骨骼图像的小尺寸训练样本进行数据增强，获得数据增强和裁剪后的训练数据集；
其中，裁剪区域的约束公式为：
Figure BDA0003647803130000071
式中，N表示为当前区域骨骼像素的总数，i表示当前随机裁剪的次数，i取值[1,100]；参考图1观察原始数据集可知，骨骼数据在原始图中占比较小且相对集中，导致图中大部分为无用的信息，所以训练过程中对数据集进行有规划的随机裁剪，可以节省训练时间和起到数据增强的作用；本实施例中规划的随机裁剪目的为将原图裁剪成大小为128×128、包含较多骨骼图像的小尺寸训练样本。
数据增强方法每次输入网络进行训练时进行三种操作包括：随机旋转、随机水平反转、光度失真，增强方法采用随机在线增广方法。
将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图的方法包括：
训练集中的多个小尺寸训练样本输入改进的U-Net网络的下采样模块进行多层卷积的计算，提取网络编码的骨骼特征图，其中对每层卷积输出的特征图进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；
将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征；
其中，下采样模块的卷积层为3，卷积核大小为3×3，步长为1，第一层下采样模块通道数为64，第二层下采样模块通道数为128；第三层下采样模块通道数为256；
将网络编码的骨骼特征图输入上采样模块进行多层卷积计算，输出网络解码的骨骼特征图，其中，每层卷积输出的特征信息进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；上采样模块的卷积层数为3，卷积核大小为1×1，步长为1，第一层上采样模块通道数为256；第二层上采样模块通道数为128；第三层上采样模块通道数为64；
将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图；在本实施例中在网络编码阶段，数据依次通过下采样模块和密集连接的空洞卷积模块，提取骨骼特征；在网络解码阶段，数据依次通过上采样模块和结合注意力机制的融合模块，将骨骼特征分辨率恢复值原大小。
将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征的方法包括：
特征图X输入第一空洞卷积层，输出生成特征图X1；其中第一空洞卷积层的空洞卷积率为3，卷积核大小为3，步长为1，输入输出通道相同，
将特征图X与X1按通道维度融合输入第二空洞卷积层，输出生成特征图X2；其中第二空洞卷积层空洞卷积率为5，卷积核大小为3，步长为1，输入通道为2n，输出通道为n；
将特征图X、特征图X1、特征图X2按通道维度融合输入第三空洞卷积层，输出生成特征图X3；其中第三空洞卷积层空洞卷积率为7，卷积核大小为3，步长为1，输入通道为3n，输出通道为n；
将特征图X、特征图X1、特征图X2、特征图X3按通道维度融合第四空洞卷积层，输出细小骨骼特征；其中第四空洞卷积层卷积核大小为1，步长为1，输入通道数为4n，输出通道为n的卷积；
其中，模型操作公式为：
Figure BDA0003647803130000091
Y＝Conv3x3([X3,X2,X1,X])
式中，X代表输入,Xi代表中间操作的输出,Y代表最终输出,di代表空洞率,Conv代表空洞卷积操作，[Xi-1,Xi-2,...,X1]或[X3,X2,X1,X]代表通道维度连接。
每一层的输入都是前面所有中间操作的输出通道连接，最后通过卷积操作降低维度作为输出；空洞率的选取也决定着信息提取的好坏，较差的空洞率组合会带来网格效应。根据混合空洞卷积理论和本实施例对比结果,选取大小为3,5,7的空洞率组合。
将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；
将从上采样模块得来的高维度特征H按通道维度随机平分生成特征图H1、特征图H2类别，将低维度特征经过卷积核大小为1×1，步长为1，输入输出通道数相同的卷积层实现跨域操作生成L；
特征图H1与L通过通道注意力分支生成通道注意力特征Fc，特征图H2与L通过空间注意力分支生成空间注意力特征Fs；
通过通道注意力特征Fc与空间注意力特征Fs，获得通道权重和空间权重；
将通道权重和空间权重分别按照通道维度融合后通过卷积操作进行通道降维，获得融合后的通道权重和空间权重；
根据融合后的通道权重和空间权重，输出生成预测图。在本实施例中融合模块中的通道注意力分支为经典的压缩激励模块,该模块旨在获取特征通道之间的关系，低维度特征即使通过1×1的卷积实现跨域操作后，其中仍包含大量的无用信息，若直接与高维度特征融合，会存在破坏语义信息的可能性。因此通过通道注意力机制来抑制无用的信息通道；融合模块中的空间注意力分支旨在获取特征图空间上的关系,从自身学习通道共享的空间权重参数，以此来突出骨骼特征，空间注意力分支通过将不同维度的特征图相加来实现语义信息与空间信息融合，再通过注意力机制，将网络的关注重心放在骨骼信息上。
通道注意力特征Fc获得通道权重的方法包括：
对特征图H1每一个通道做全局平均池化来获取当前通道的全局特征；
对当前通道的全局特征使用卷积核大小为1×1，输入通道为n,输出通道为n/r的卷积操作，生成通道注意力第一积卷层的特征图；
对通道注意力第一积卷层的特征图使用卷积核大小为1×1，输入通道为n/r,输出通道为n的卷积操作；生成通道注意力第二积卷层的特征图；
通道注意力第二积卷层的特征图通过Relu激活函数和Sigmoid函数变换后生成通道输出权重；
通道分支公式为：
ωC＝Conv1x1(Conv1x1(GAP([H1,L])))
FC＝Sigmoid(ωC)*[H1,L]
式中，ωC为根据特征图求得的通道权重，H1为随机分配的高维度特征，L为低维度特征，Conv表示卷积核为1x1的卷积操作；GAP表示为全局平均池化；Sigmoid代表S函数，[H1,L]表示为通道维度的连接。
空间注意力特征Fs获得空间权重的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；并将高维度特征H、低维度特征L相加；
分别对相加后的特征做通道上的最大池化与平均池化两种操作，分别获取两个特征图通道；
将获取到的两个特征图进行通道连接，生成通道数为1的特征图，其中，通道连接为经过一个卷积核大小为7×7的卷积层操作；
将通道数为1的特征图利用Sigmoid函数变化后作为高维度和低维度融合后的空间权重；
空间分支公式为：
ωS＝Conv([(AvgPool(H2+L),MaxPool(H2+L)])
FS＝Sigmoid(ωS)*(H2+L)；
式中，ωS为根据特征图求得的空间权重，H2为随机分配的高维度特征，MaxPool()为最大池化操作，AvgPool()为平均池化操作。
在进一步的实施例中，反向传播训练模型采用SGD优化器来对模型参数训练优化,并使用poly学习策略对学习率进行调整,表达式为：
Figure BDA0003647803130000111
式中，lr为初始学习率,power为学习率衰减的变化程度,total_epoch为最大训练次数,epoch为当前训练次数，batch_size为训练过程中每次训练的样本数量，本实施例中初始学习率lr设置为0.001,power为0.9,最大训练次数total_epoch为100,并设置batch_size为64。
Dice系数损失函数可以用来衡量预测值与真实值相似度，又因骨骼数据在CT数据中占比较小的特殊性，引入了Focal损失函数来挖掘困难样本，调节正负样本比例失衡的场景。
将满足金标准的预测图导入反向传播训练模型计算，获得网络训练参数过程中，反向传播训练模型采用损失函数对导入的预测图进行计算，表达式为：
Lloss＝LDice+αLFocal
式中，Lloss为模型总损失，LDice为dice系数损失，LFocal为focal损失，α为中和两种损失的权重系数，本实施例中α取值为0.5；
利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分的表达式为：
Dice＝2TP/(2TP+FP+FN)
IoU＝TP/(TP+FP+FN)
Recall＝TP/(TP+FN)
Precision＝TP/(TP+FP)
式中，TP(True Positives)、TN(True Negatives)、FP(False Positives)、FN(False Negatives)依次表示为预测和标签均为骨骼像素点数量(真阳性)、预测和标签均为背景像素点数量(真阴性)、预测为骨骼和标签为背景的像素点数量(假阳性)、预测为背景和标签为骨骼的像素点数量(假阴性)；Dice为dice评价系数，IoU为骨骼像素交并比，Recall为骨骼像素召回率，Precision为骨骼像素准确率；以上指标范围均为0-1之间，越靠近1表示模型的预测能力越强，按以上指标，选择了在语义分割领域中具有代表性的网络模型:U-Net、Attention U-Net和BiSeNet作为对比网络模型.在CT数据集上多次实验计算平均值作为最终实验结果,实验结果如表1所示证明了本发明的优越性。
表1 CT数据集实验结果
Figure BDA0003647803130000121
综上所述本发明基于U-Net算法做改进，在网络编码阶段，使用密集连接的空洞卷积模块加强骨骼特征的提取；在网络解码阶段,使用结合注意力机制的融合模块充分利用空间信息与语义信息,改善骨骼信息丢失的问题，弥补了U-Net算法的部分不足和充分利用骨骼CT图像的特征，实现了精准的医学CI图像分割。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，包括：
对采集的患者下肢骨骼CT图像进行标注，获得CT数据集；
将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集；
将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图；
将预测图与对应的金标准对比图进行对比，获得网络损失函数；
将网络损失函数导入反向传播训练模型计算，获得网络训练参数；
利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分；
选择性能评分高于其它的优化改进的U-Net网络导入CT数据集进行CT图像分割。
2.根据权利要求1所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，将CT数据集按比例划分，构建为训练集与测试集，并对训练集进行数据增强、随机裁剪，获得数据增强和裁剪后的训练集包括：
对CT数据集沿Axial方向切片，生成共8000张dcm格式的二维CT图像，并将CT数据集以8:2比例划分为训练集与测试集；其中设置CT数据集的HU值为[1000-1500]的窗位大小；
将筛选训练集中包含较多骨骼的图像进行裁剪，获得包含较多骨骼图像的小尺寸训练样本；
对较多骨骼图像的小尺寸训练样本进行数据增强，获得数据增强和裁剪后的训练数据集；
其中，裁剪区域的约束公式为：
Figure FDA0003647803120000011
式中，N表示为当前区域骨骼像素的总数，i表示当前随机裁剪的次数，i取值[1,100]；
数据增强方法每次输入网络进行训练时进行三种操作包括：随机旋转、随机水平反转、光度失真。
3.根据权利要求1所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，将数据增强和裁剪后的训练集导入改进的U-Net网络提取多个不同维度通道的骨骼特征，并对多个不同维度通道的骨骼特征进行融合，获取预测图的方法包括：
训练集中的多个小尺寸训练样本输入改进的U-Net网络的下采样模块进行多层卷积的计算，提取网络编码的骨骼特征图，其中对每层卷积输出的特征图进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；
将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征；
其中，下采样模块的卷积层为3，卷积核大小为3×3，步长为1，第一层下采样模块通道数为64，第二层下采样模块通道数为128；第三层下采样模块通道数为256；
将网络编码的骨骼特征图输入上采样模块进行多层卷积计算，输出网络解码的骨骼特征图，其中，每层卷积输出的特征信息进行均批归一化操作和采用Relu激活函数操作，获得骨骼特征图；上采样模块的卷积层数为3，卷积核大小为1×1，步长为1，第一层上采样模块通道数为256；第二层上采样模块通道数为128；第三层上采样模块通道数为64；
将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图。
4.根据权利要求3所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，将网络编码的骨骼特征图输入密集连接的空洞卷积模块进行特征提取，提取细小骨骼特征的方法包括：
特征图X输入第一空洞卷积层，输出生成特征图X1；其中第一空洞卷积层的空洞卷积率为3，卷积核大小为3，步长为1，输入输出通道相同，
将特征图X与X1按通道维度融合输入第二空洞卷积层，输出生成特征图X2；其中第二空洞卷积层空洞卷积率为5，卷积核大小为3，步长为1，输入通道为2n，输出通道为n；
将特征图X、特征图X1、特征图X2按通道维度融合输入第三空洞卷积层，输出生成特征图X3；其中第三空洞卷积层空洞卷积率为7，卷积核大小为3，步长为1，输入通道为3n，输出通道为n；
将特征图X、特征图X1、特征图X2、特征图X3按通道维度融合第四空洞卷积层，输出细小骨骼特征；其中第四空洞卷积层卷积核大小为1，步长为1，输入通道数为4n，输出通道为n的卷积；
其中，模型操作公式为：
Figure FDA0003647803120000031
Y＝Conv3x3([X3,X2,X1,X])
式中，X代表输入,Xi代表中间操作的输出,Y代表最终输出,di代表空洞率,Conv代表空洞卷积操作,[Xi-1,Xi-2,...,X1]或[X3,X2,X1,X]代表通道维度连接。
5.根据权利要求3所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，将上采样模块和下采样模块输出的骨骼特征图输入结合注意力机制的融合模块进行融合，生成预测图的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；
将从上采样模块得来的高维度特征H按通道维度随机平分生成特征图H1、特征图H2类别，将低维度特征经过卷积核大小为1×1，步长为1，输入输出通道数相同的卷积层实现跨域操作生成L；
特征图H1与L通过通道注意力分支生成通道注意力特征Fc，特征图H2与L通过空间注意力分支生成空间注意力特征Fs；
通过通道注意力特征Fc与空间注意力特征Fs，获得通道权重和空间权重；
将通道权重和空间权重分别按照通道维度融合后通过卷积操作进行通道降维，获得融合后的通道权重和空间权重；
根据融合后的通道权重和空间权重，输出生成预测图。
6.根据权利要求5所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，通道注意力特征Fc获得通道权重的方法包括：
对特征图H1每一个通道做全局平均池化来获取当前通道的全局特征；
对当前通道的全局特征使用卷积核大小为1×1，输入通道为n,输出通道为n/r的卷积操作，生成通道注意力第一积卷层的特征图；
对通道注意力第一积卷层的特征图使用卷积核大小为1×1，输入通道为n/r,输出通道为n的卷积操作；生成通道注意力第二积卷层的特征图；
通道注意力第二积卷层的特征图通过Relu激活函数和Sigmoid函数变换后生成通道输出权重；
通道分支公式为：
ωC＝Conv1x1(Conv1x1(GAP([H1,L])))
FC＝Sigmoid(ωC)*[H1,L]
式中，ωC为根据特征图求得的通道权重，H1为随机分配的高维度特征，L为低维度特征，Conv表示卷积核为1x1的卷积操作；GAP表示为全局平均池化；Sigmoid代表S函数，[H1,L]表示为通道维度的连接。
7.根据权利要求5所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，空间注意力特征Fs获得空间权重的方法包括：
从上采样模块和下采样模块输出的骨骼特征图中分别提取高维度特征H、低维度特征L；并将高维度特征H、低维度特征L相加；
分别对相加后的特征做通道上的最大池化与平均池化两种操作，分别获取两个特征图通道；
将获取到的两个特征图进行通道连接，生成通道数为1的特征图，其中，通道连接为经过一个卷积核大小为7×7的卷积层操作；
将通道数为1的特征图利用Sigmoid函数变化后作为高维度和低维度融合后的空间权重；
空间分支公式为：
ωS＝Conv([(AvgPool(H2+L),MaxPool(H2+L)])
FS＝Sigmoid(ωS)*(H2+L)；
式中，ωS为根据特征图求得的空间权重，H2为随机分配的高维度特征，MaxPool()为最大池化操作，AvgPool()为平均池化操作。
8.根据权利要求1所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，反向传播训练模型采用SGD优化器来对模型参数训练优化,并使用poly学习策略对学习率进行调整,表达式为：
Figure FDA0003647803120000051
式中，lr为初始学习率，power为学习率衰减的变化程度，total_epoch为最大训练次数,epoch为当前训练次数，batch_size为训练过程中每次训练的样本数量。
9.根据权利要求1所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，将满足金标准的预测图导入反向传播训练模型计算，获得网络训练参数过程中，反向传播训练模型采用损失函数对导入的预测图进行计算，表达式为：
Lloss＝LDice+αLFocal
式中，Lloss为模型总损失，LDice为dice系数损失，LFocal为focal损失，α为中和两种损失的权重系数。
10.根据权利要求1所述的基于改进U-Net的下肢骨骼CT图像分割算法，其特征在于，利用训练参数优化改进的U-Net网络，并将测试集数据导入优化后的改进的U-Net网络，获得用于测试的分割骨骼图像，并通过测试的分割骨骼图像对优化改进的U-Net网络的性能进行评分的表达式为：
Dice＝2TP/(2TP+FP+FN)
IoU＝TP/(TP+FP+FN)
Recall＝TP/(TP+FN)
Precision＝TP/(TP+FP)
式中，TP(True Positives)、TN(True Negatives)、FP(False Positives)、FN(FalseNegatives)依次表示为预测和标签均为骨骼像素点数量(真阳性)、预测和标签均为背景像素点数量(真阴性)、预测为骨骼和标签为背景的像素点数量(假阳性)、预测为背景和标签为骨骼的像素点数量(假阴性)；Dice为dice评价系数，IoU为骨骼像素的交并比，Recall为骨骼像素召回率，Precision为骨骼像素准确率。
CN202210535354.0A 2022-05-17 2022-05-17 一种基于改进U-Net的下肢骨骼CT图像分割算法 Pending CN114913327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535354.0A CN114913327A (zh) 2022-05-17 2022-05-17 一种基于改进U-Net的下肢骨骼CT图像分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535354.0A CN114913327A (zh) 2022-05-17 2022-05-17 一种基于改进U-Net的下肢骨骼CT图像分割算法

Publications (1)

Publication Number Publication Date
CN114913327A true CN114913327A (zh) 2022-08-16

Family

ID=82768070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535354.0A Pending CN114913327A (zh) 2022-05-17 2022-05-17 一种基于改进U-Net的下肢骨骼CT图像分割算法

Country Status (1)

Country Link
CN (1) CN114913327A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071622A (zh) * 2023-04-06 2023-05-05 广州思德医疗科技有限公司 基于深度学习的胃部图像识别模型构建方法及其系统
CN116644524A (zh) * 2023-07-27 2023-08-25 西南科技大学 基于pinn的高超声速内转式进气道流场重构方法及系统
CN116778158A (zh) * 2023-06-13 2023-09-19 苏州大学 基于改进u形网络的多组织成分图像分割方法及系统
CN117422880A (zh) * 2023-12-18 2024-01-19 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN117745746A (zh) * 2024-02-19 2024-03-22 中国人民解放军总医院第四医学中心 一种基于可变形nnUNet的图像分割方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071622A (zh) * 2023-04-06 2023-05-05 广州思德医疗科技有限公司 基于深度学习的胃部图像识别模型构建方法及其系统
CN116071622B (zh) * 2023-04-06 2024-01-12 广州思德医疗科技有限公司 基于深度学习的胃部图像识别模型构建方法及其系统
CN116778158A (zh) * 2023-06-13 2023-09-19 苏州大学 基于改进u形网络的多组织成分图像分割方法及系统
CN116644524A (zh) * 2023-07-27 2023-08-25 西南科技大学 基于pinn的高超声速内转式进气道流场重构方法及系统
CN116644524B (zh) * 2023-07-27 2023-10-03 西南科技大学 基于pinn的高超声速内转式进气道流场重构方法及系统
CN117422880A (zh) * 2023-12-18 2024-01-19 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN117422880B (zh) * 2023-12-18 2024-03-22 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN117745746A (zh) * 2024-02-19 2024-03-22 中国人民解放军总医院第四医学中心 一种基于可变形nnUNet的图像分割方法和装置
CN117745746B (zh) * 2024-02-19 2024-05-31 中国人民解放军总医院第四医学中心 一种基于可变形nnUNet的图像分割方法和装置

Similar Documents

Publication Publication Date Title
CN114913327A (zh) 一种基于改进U-Net的下肢骨骼CT图像分割算法
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN109829959B (zh) 基于人脸解析的表情编辑方法及装置
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及系统
CN111950655A (zh) 一种基于多领域知识驱动的图像美学质量评价方法
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN110807122A (zh) 一种基于深度互信息约束的图文跨模态特征解纠缠方法
CN114359292A (zh) 一种基于多尺度和注意力的医学图像分割方法
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN111368734A (zh) 一种基于正常表情辅助的微表情识别方法
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
CN116778158B (zh) 基于改进u形网络的多组织成分图像分割方法及系统
CN116823868A (zh) 一种黑色素肿瘤图像分割方法
CN114529794B (zh) 一种红外与可见光图像融合方法、系统及介质
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法
CN116030043A (zh) 一种多模态医学图像分割方法
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN110458849A (zh) 一种基于特征修正的图像分割方法
CN115222748A (zh) 一种基于并联深度u形网络和概率密度图的多器官分割方法
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN112507107A (zh) 术语匹配方法、装置、终端和计算机可读存储介质
CN114863939B (zh) 一种基于声音的大熊猫属性识别方法及系统
CN116894943B (zh) 一种双约束的伪装目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination