CN116958556A - 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法 - Google Patents

用于椎体和椎间盘分割的双通道互补脊柱图像分割方法 Download PDF

Info

Publication number
CN116958556A
CN116958556A CN202310964406.0A CN202310964406A CN116958556A CN 116958556 A CN116958556 A CN 116958556A CN 202310964406 A CN202310964406 A CN 202310964406A CN 116958556 A CN116958556 A CN 116958556A
Authority
CN
China
Prior art keywords
output
stage
segmentation
segmented
stripe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310964406.0A
Other languages
English (en)
Other versions
CN116958556B (zh
Inventor
邓云蛟
范朝辉
谭炜键
刘亚
樊大宝
曾达幸
王帅
侯雨雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202310964406.0A priority Critical patent/CN116958556B/zh
Publication of CN116958556A publication Critical patent/CN116958556A/zh
Application granted granted Critical
Publication of CN116958556B publication Critical patent/CN116958556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其包括：获取若干脊柱的磁共振图像及对应的标签图，提取待分割切片和分割切片进行预处理；构建残差U型网络以提取细节特征，构建空间特征提取器以提取关系特征，构建特征融合模块融合细节特征和关系特征，获取分割特征图；借助网络输出层，输出多类别分割结果，构建双通道互补脊柱图像分割模型；训练并获得最佳双通道互补脊柱图像分割模型，针对待分割磁共振图像切片获取多类别分割结果。本发明借助条纹卷积在每个点上提取垂直和水平关系以应对类别相似性和类内变异性，通过注意力机制渐进地指导两条路径在每个阶段的特定特征学习，实现了更好地特征集成，提高了分割精度。

Description

用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
技术领域
本发明属于脊柱图像分割技术领域，特别是一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法。
背景技术
随着社会老龄化的加剧和人们工作和生活方式的改变，脊柱疾病的发病率正在增加。计算机断层扫描(CT)和磁共振成像(MRI)在脊柱疾病的诊断和治疗中起着重要作用，而椎骨和椎间盘的自动分割是脊柱图像分析和建模的关键步骤，例如脊柱异常识别、基于图像的生物力学模型分析、椎骨骨折检测、椎间盘突出和图像引导下的脊柱介入等。例如，射频消融(RFA)是常用的微创介入方法之一，用于治疗腰椎间盘突出引起的腰痛和功能障碍。由于CT对椎骨具有较高的敏感性，通常使用CT来引导RFA的针尖到达正确的位置，而MRI用于在RFA过程中准确找到突出部位，因为MRI有助于椎间盘在图像中的可视化。为此，对脊柱图像进行精细分割是确保RFA顺利实施的关键。
磁共振图像中自动化的椎骨和椎间盘分割可以节省医生的时间，并为脊柱的诊断和治疗提供可重复的解决方案。因此，这一领域受到了研究人员的广泛关注。在脊柱图像分割方面，相关的工作主要分为对磁共振图像中椎骨和椎间盘分别进行分割(即分别对磁共振图像中椎骨或椎间盘进行图像分割任务)，以及对磁共振图像中椎骨和椎间盘同时进行分割(即同时对磁共振图像中椎骨和椎间盘进行图像分割任务)。将磁共振图像中椎骨或椎间盘分别独立分割的方法无法为医生提供足够的病理特征，而在磁共振图像中同时分割椎骨和椎间盘的方法不仅可以避免重叠和误判，还可以借助它们之间的连接提取更准确的特征融合。然而，现有方法中，所有椎骨或所有椎间盘被分配到同一个类别，很少有研究将不同的椎骨分配到不同的类别，而椎间盘几乎没有细分，这对于椎骨和椎间盘的定位和手术方案的制定仍然存在不足。磁共振图像中脊柱精细分割面临两个主要挑战：类间相似性和类内变异性。类间相似性表现为在磁共振图像中椎间盘和椎骨部分之间的形状和纹理相似，而类内变异性则是不同患者的磁共振图像中同一类别的椎间盘或椎骨之间存在明显差异。因此，为解决类间相似性和类内变异性的问题，辅助医师快速查看锥体和椎间盘区域，寻求一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，以同时有效地在磁共振图像中分割不同类别的椎体和椎间盘是十分迫切且必要的。
发明内容
本发明针对上述现有技术中的缺陷，提出一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法。该方法包括获取若干脊柱的磁共振图像及对应的标签图，提取待分割切片和分割切片进行预处理；构建残差U型网络以提取细节特征，构建空间特征提取器以提取关系特征，构建特征融合模块融合细节特征和关系特征，获取分割特征图；借助网络输出层，输出多类别分割结果，构建双通道互补脊柱图像分割模型；训练并获得最佳双通道互补脊柱图像分割模型，针对待分割磁共振图像切片获取多类别分割结果。本发明借助条纹卷积在每个点上提取垂直和水平关系以应对类别相似性和类内变异性，通过注意力机制渐进地指导两条路径在每个阶段的特定特征学习，实现了更好地特征集成，提高了分割精度。
本发明提供一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其包括以下步骤：
S1、预处理脊柱的磁共振图像及对应的标签图：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，针对所有所述待分割切片进行归一化处理，规整并裁剪所述待分割切片和分割切片尺寸，划分训练数据集和测试数据集；
S2、构建用于椎体和椎间盘多类别分割的双通道互补脊柱图像分割模型，包括残差U型网络、空间特征提取器、特征融合模块和网络输出层：当双通道互补脊柱图像分割模型接收到待分割切片图像数据后，分别将待分割切片图像数据输入到残差U型网络和空间特征提取器，再将残差U型网络和空间特征提取器的输出融合后输入到特征融合模块，特征融合模块的输出作为网络输出层的输入，最后由网络输出层输出完成椎体和椎间盘分割后的待分割切片多类别分割结果；其中；残差U型网络用于提取待分割切片中椎体和椎间盘的细节特征；空间特征提取器用于提取待分割切片中椎体和椎间盘的关系特征；特征融合模块融合细节特征和关系特征用于获取分割特征图；网络输出层用于输出待分割切片多类别分割结果；
S21、构建残差U型网络，作为上下文路径，提取待分割切片中椎体和椎间盘的细节特征；所述残差U型网络包括编码器和解码器，所述编码器和解码器分别是基于残差的编码器和解码器，所述编码器依次包括第一级编码器、第二级编码器、第三级编码器、第四级编码器和第五级编码器，所述解码器依次包括第一级解码器、第二级解码器、第三级解码器和第四级解码器；所述第一级编码器的输入为所述双通道互补脊柱图像分割模型的第一输入；
S22、构建空间特征提取器，作为空间路径，提取待分割切片中椎体和椎间盘的关系特征；所述空间特征提取器依次包括第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器；所述第一级条纹提取器的输入为所述双通道互补脊柱图像分割模型的第二输入；
S23、构建特征融合模块，融合上下文路径的细节特征和空间路径的关系特征，获取分割特征；所述特征融合模块依次包括第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块；
S3、训练双通道互补脊柱图像分割模型，获得最佳双通道互补脊柱图像分割模型：设定损失函数，设置模型参数和评估指标，基于训练数据集和测试数据集，训练所述双通道互补脊柱图像分割模型，获得测试数据集的评估指标最大时对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型；
S4、基于最佳双通道互补脊柱图像分割模型，获取待分割脊柱的磁共振图像切片的分割结果：基于最佳双通道互补脊柱图像分割模型，将待分割脊柱的磁共振图像切片经步骤S1的归一化处理及规整并裁剪后，作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，获得所述双通道互补脊柱图像分割模型的输出即待分割脊柱磁共振图像切片的分割结果。
进一步，所述步骤S1具体包括以下步骤：
S11、获取脊柱的磁共振图像及对应的标签图，组建脊柱数据集：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，将所有所述待分割切片经灰度化处理后，与所有所述分割切片组建脊柱数据集；
S12、归一化处理脊柱的磁共振图像，获取第一脊柱数据集：针对所述脊柱数据集中所有所述待分割切片，借助总体标准偏差σs和均值m进行归一化处理，将归一化处理后的待分割切片与所对应的分割切片组合，获得第一脊柱数据集；所述归一化处理为：
其中，k(xi,yi)和k′(xi,yi)分别表示归一化处理前和归一化处理后的待分割切片中像素点(xi,yi)处的像素值；
S13、规整并裁剪待分割切片和分割切片尺寸，获取第二脊柱数据集：将第一脊柱数据集中的待分割切片及对应的分割切片进行尺寸规整并裁剪左右两侧的背景，获取第二脊柱数据集，所述尺寸规整后待分割切片及对应的分割切片的尺寸均为256×256，所述裁剪后待分割切片及对应的分割切片的尺寸均为128×256；
S14、基于第二脊柱数据集，划分训练数据集和测试数据集：将第二脊柱数据集中的所有待分割切片及对应的分割切片，分别按照9:1的比例进行待分割切片和分割切片的对应划分，获取用于脊柱图像分割的训练数据集和测试数据集。
可优选的，步骤S21中所述第五级编码器的输出与其经平均池化后的输出在像素上叠加，作为所述残差U型网络的第一网络输出；所述第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出分别依次作为所述残差U型网络的第二网络输出、第三网络输出、第四网络输出和第五网络输出；所述第一级编码器、第二级编码器、第三级编码器和第四级编码器的输出分别依次作为所述第二级编码器、第三级编码器、第四级编码器和第五级编码器的输入；所述第五级编码器的输出经双线性插值上采样操作后，与所述第四级编码器的输出在通道上融合，作为所述第一级解码器的输入；所述第一级解码器的输出经双线性插值上采样操作后，与所述第三级编码器的输出在通道上融合，作为所述第二级解码器的输入；所述第二级解码器的输出经双线性插值上采样操作后，与所述第二级编码器的输出在通道上融合，作为所述第三级解码器的输入；所述第三级解码器的输出经双线性插值上采样操作后，与所述第一级编码器的输出在通道上融合，作为所述第四级解码器的输入；
步骤S22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出分别依次作为所述空间特征提取器的第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器和第四级条纹提取器的输出分别依次作为所述第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输入；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器均包括一个条纹卷积；
步骤S23中所述特征融合模块的输入包括所述第一网络输出、第二网络输出、第三网络输出、第四网络输出、第五网络输出、第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第五分割模块的输出为分割特征图，作为所述特征融合模块的输出；所述第一网络输出与所述第五空间输出在通道上融合后输入到所述第一注意力细化模块中，所述第一注意力细化模块的输出经双线性插值上采样操作后输入到所述第一分割模块；所述第二网络输出与所述第四空间输出在通道上融合后输入到所述第二注意力细化模块中，所述第二注意力细化模块的输出与所述第一分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第二分割模块的输入；所述第三网络输出与所述第三空间输出在通道上融合后输入到所述第三注意力细化模块中，所述第三注意力细化模块的输出与所述第二分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第三分割模块的输入；所述第四网络输出与所述第二空间输出在通道上融合后输入到所述第四注意力细化模块中，所述第四注意力细化模块的输出与所述第三分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第四分割模块的输入；所述第五网络输出与所述第一空间输出在通道上融合后输入到所述第五注意力细化模块中，所述第五注意力细化模块的输出与所述第四分割模块的输出在通道上融合，作为所述第五分割模块的输入；所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块和第五注意力细化模块均包括一个注意力模块；所述第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块均包括一个卷积单元；
所述步骤S2还包括，借助网络输出层，输出待分割切片多类别分割结果：所述网络输出层的输入为所述分割特征图，所述网络输出层的输出为待分割切片多类别分割结果，作为所述双通道互补脊柱图像分割模型的输出；所述网络输出层的输出通道数为分割类别数。
可优选的，步骤S3具体包括以下步骤：
S31、设定损失函数DFKL；
S32、设置模型参数和评估指标Dice；
S33、基于训练数据集和测试数据集，将训练数据集中的待分割切片输入到所述双通道互补脊柱图像分割模型中进行训练；
S331、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入，经所述残差U型网络提取待分割切片中椎体和椎间盘的细节特征；
S332、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第二输入，经所述空间特征提取器提取待分割切片中椎体和椎间盘的关系特征；
S333、所述细节特征和关系特征输入到所述特征融合模块中，经所述第五分割模块输出分割特征图；
S334、所述分割特征图经所述网络输出层输出待分割切片多类别分割结果，即所述双通道互补脊柱图像分割模型的输出，得到所述双通道互补脊柱图像分割模型的权重参数；
S334、基于待分割切片多类别分割结果与训练数据集中对应的分割切片，将分割切片进行独热One-Hot编码，得到输出通道数为分割类别数的分割切片，计算训练数据集的评估指标Dice；
S335、将测试数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，基于所述双通道互补脊柱图像分割模型的权重参数，获得测试数据集中待分割切片多类别分割结果，借助测试数据集中对应的分割切片经独热One-Hot编码后，计算测试数据集的评估指标Dice；
S336、重复执行步骤S331至步骤S335，直至完成所有训练代数，获得所有训练代数中测试数据集的评估指标Dice最大时，对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型。
可优选的，所述步骤S22中所述条纹卷积包括第一卷积操作、水平条纹池化操作、竖直条纹池化操作、水平条纹卷积操作、竖直条纹卷积操作、批归一化操作、第二卷积操作、第一激活函数和第二激活函数，所述第一卷积操作的输入为所述条纹卷积的输入；所述第一卷积操作的输出依次经所述水平条纹池化操作、水平条纹卷积操作和批处理操作，得到水平条纹输出；所述第一卷积操作的输出依次经所述竖直条纹池化操作、竖直条纹卷积操作和批处理操作，得到竖直条纹输出；所述水平条纹输出和竖直条纹输出叠加后，经所述第一激活函数得到条纹输出；所述条纹输出依次经所述第二卷积操作和第二激活函数后，与所述条纹输出逐元素相乘，得到所述条纹卷积的输出；
所述步骤S23中所述注意力模块包括第三卷积操作、全局池化操作、批归一化操作、第四卷积操作和第三激活函数，所述第三卷积操作的输入为所述注意力模块的输入；所述第三卷积操作的输出依次经所述全局池化操作、第四卷积操作、批归一化操作和第三激活函数后，与所述第三卷积操作的输出逐元素相乘，得到所述注意力模块的输出。
可优选的，步骤S11中所述待分割切片经灰度化处理前后的通道数分别为1和3，所述分割切片的通道数为1；步骤S21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出通道数依次为32、64、128、256、512、256、128、64、32；步骤S22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出通道数依次为32、64、128、256、512；步骤S23中所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块的输出通道数均为64。
可优选的，所述步骤S22中所述第一卷积操作的卷积核取3×3，所述第二卷积操作的卷积核取1×1，所述水平条纹卷积操作的卷积核取3×1，所述竖直条纹卷积操作的卷积核取1×3；所述第一激活函数选择线性整流函数ReLU，所述第二激活函数选择S型函数Sigmoid；所述步骤S23中所述第三卷积操作的卷积核取3×3，所述第四卷积操作的卷积核取1×1；所述第三激活函数选择S型函数Sigmoid；所述步骤S24中所述网络输出层为卷积核为1×1的卷积操作。
可优选的，所述步骤S21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器中的所述残差块数量依次设为3、4、6、3、3、2、2、2、2。
可优选的，所述步骤S31中所述损失函数DFKL基于相似度损失DL、动态缩放交叉熵损失FL和相对熵损失KL设定为：
所述步骤S32中所述评估指标Dice表示为：
其中，TP表示真阳性；FP表示假阳性；FN表示假阴性。
与现有技术相比，本发明的技术效果为：
1、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了解决椎体和椎间盘的多类别图像分割问题，在BiSeNet框架的基础上，通过引入残差U型网络作为上下文路径，突出了编码器和解码器的协同优势；同时，结合了空间特征提取器作为空间路径，并提出了特征融合模块以替代上下文路径和空间路径的原有特征融合模块，所提方法通过利用这些组件的互补优势来提高脊柱图像的分割性能。
2、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了应对细粒度脊柱图像分割中类别相似性和类内变异性挑战，在空间特征提取器中引入了具有不同尺度的条纹池化块，借助不同方向的条纹卷积在每个点上提取垂直和水平关系，以捕捉椎体和椎间盘间的长距离关系和同一类别内的相互联系，有效地补充了残差U型网络的特征提取能力，能够更好地捕捉磁共振图像中脊柱的复杂细节和结构，从而提高图像分割精度。
3、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了利用上下文路径和空间路径的互补特征，在特征融合模块中引入了BiSeNet框架中的注意力细化模块，通过注意力机制渐进地指导残差U型网络和空间特征提取器在每个阶段的特定特征学习，取代了原有BiSeNet框架中特征融合模块针对上下文路径和空间路径特征的同时融合，实现了更好地特征集成，并提高了图像分割精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是本发明的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法流程图；
图2是本发明的所提用于椎体和椎间盘分割的双通道互补脊柱图像分割模型结构图；
图3是本发明的所构建的条纹卷积的结构示意图；
图4是本发明的所构建的注意力模块的结构示意图；
图5是本发明的一种具体实施例中所提分割模型与其他经典模型图像分割效果的对比图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，该方法包括以下步骤：
本发明中分割指的是针对磁共振图像中脊柱部分的识别与不同椎骨和椎间盘的区域划分，如图2所示右侧分割切片所示，L1表示第一节腰椎区域；L2表示第二节腰椎区域；L3表示第三节腰椎区域；L4表示第四节腰椎区域；L5表示第五节腰椎区域；T9表示第九节胸椎区域；T10表示第十节胸椎区域；T11表示第十一节胸椎区域；T12表示第十二节胸椎区域；T9/T10表示第九节胸椎和第十节胸椎之间的椎间盘区域；T10/T11表示第十节胸椎和第十一节胸椎之间的椎间盘区域；T11/T12表示第十一节胸椎和第十二节胸椎之间的椎间盘区域；T12/L1表示第十二节胸椎和第一节腰椎之间的椎间盘区域；L1/L2表示第一节腰椎和第二节腰椎之间的椎间盘区域；L2/L3表示第二节腰椎和第三节腰椎之间的椎间盘区域；L3/L4表示第三节腰椎和第四节腰椎之间的椎间盘区域；L4/L5表示第四节腰椎和第五节腰椎之间的椎间盘区域；L5/S表示第五节腰椎和尾椎之间的椎间盘区域；S表示尾椎区域。
S1、预处理脊柱的磁共振图像及对应的标签图：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，针对所有待分割切片进行归一化处理，规整并裁剪待分割切片和分割切片尺寸，划分训练数据集和测试数据集。
S11、获取脊柱的磁共振图像及对应的标签图，组建脊柱数据集：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，将所有待分割切片经灰度化处理后，与所有分割切片组建脊柱数据集；待分割切片经灰度化处理前后的通道数分别为1和3，分割切片的通道数为1。
S12、归一化处理脊柱的磁共振图像，获取第一脊柱数据集：针对脊柱数据集中所有待分割切片，借助总体标准偏差σs和均值m进行归一化处理，将归一化处理后的待分割切片与所对应的分割切片组合，获得第一脊柱数据集；归一化处理为：
其中，k(xi,yi)和k′(xi,yi)分别表示归一化处理前和归一化处理后的待分割切片中像素点(xi,yi)处的像素值。
S13、规整并裁剪待分割切片和分割切片尺寸，获取第二脊柱数据集：将第一脊柱数据集中的待分割切片及对应的分割切片进行尺寸规整并裁剪左右两侧的背景，获取第二脊柱数据集，尺寸规整后待分割切片及对应的分割切片的尺寸均为256×256，裁剪后待分割切片及对应的分割切片的尺寸均为128×256。
S14、基于第二脊柱数据集，划分训练数据集和测试数据集：将第二脊柱数据集中的所有待分割切片及对应的分割切片，分别按照9:1的比例进行待分割切片和分割切片的对应划分，获取用于脊柱图像分割的训练数据集和测试数据集。
S2、如图2所示，构建用于椎体和椎间盘多类别分割的双通道互补脊柱图像分割模型，包括残差U型网络、空间特征提取器、特征融合模块和网络输出层：当双通道互补脊柱图像分割模型接收到待分割切片图像数据后，分别将待分割切片图像数据输入到残差U型网络和空间特征提取器，再将残差U型网络和空间特征提取器的输出融合后输入到特征融合模块，特征融合模块的输出作为网络输出层的输入，最后由网络输出层输出完成椎体和椎间盘分割后的待分割切片多类别分割结果；其中；残差U型网络用于提取待分割切片中椎体和椎间盘的细节特征；空间特征提取器用于提取待分割切片中椎体和椎间盘的关系特征；特征融合模块融合细节特征和关系特征用于获取分割特征图；网络输出层用于输出待分割切片多类别分割结果。
S21、构建残差U型网络，作为上下文路径，提取待分割切片中椎体和椎间盘的细节特征；残差U型网络包括编码器和解码器，编码器和解码器分别是基于残差的编码器和解码器，编码器依次包括第一级编码器、第二级编码器、第三级编码器、第四级编码器和第五级编码器，解码器依次包括第一级解码器、第二级解码器、第三级解码器和第四级解码器。第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出通道数依次为32、64、128、256、512、256、128、64、32。
第一级编码器的输入为双通道互补脊柱图像分割模型的第一输入；第五级编码器的输出与其经平均池化后的输出在像素上叠加，作为残差U型网络的第一网络输出；第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出分别依次作为残差U型网络的第二网络输出、第三网络输出、第四网络输出和第五网络输出。
第一级编码器、第二级编码器、第三级编码器和第四级编码器的输出分别依次作为第二级编码器、第三级编码器、第四级编码器和第五级编码器的输入；第五级编码器的输出经双线性插值上采样操作后，与第四级编码器的输出在通道上融合，作为第一级解码器的输入；第一级解码器的输出经双线性插值上采样操作后，与第三级编码器的输出在通道上融合，作为第二级解码器的输入；第二级解码器的输出经双线性插值上采样操作后，与第二级编码器的输出在通道上融合，作为第三级解码器的输入；第三级解码器的输出经双线性插值上采样操作后，与第一级编码器的输出在通道上融合，作为第四级解码器的输入。
第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器均包含若干残差块，且第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器中的残差块数量依次设为3、4、6、3、3、2、2、2、2；残差块包括两个卷积单元，卷积单元包括一个卷积操作、一个批归一化操作和一个激活函数；卷积操作的卷积核取3×3；激活函数选择线性整流函数ReLU；第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器中的第一个残差块的第一个卷积单元的卷积操作的步长均设为2。
S22、构建空间特征提取器，作为空间路径，提取待分割切片中椎体和椎间盘的关系特征；空间特征提取器依次包括第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器。第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出通道数依次为32、64、128、256、512。
第一级条纹提取器的输入为双通道互补脊柱图像分割模型的第二输入；第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出分别依次作为空间特征条纹提取器的第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出。
第一级条纹提取器、第二级条纹提取器、第三级条纹提取器和第四级条纹提取器的输出分别依次作为第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输入。第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器均包括一个条纹卷积。
如图3所示，条纹卷积包括第一卷积操作、水平条纹池化操作、竖直条纹池化操作、水平条纹卷积操作、竖直条纹卷积操作、批归一化操作、第二卷积操作、第一激活函数和第二激活函数，第一卷积操作的输入为条纹卷积的输入；第一卷积操作的输出依次经水平条纹池化操作、水平条纹卷积操作和批处理操作，得到水平条纹输出；第一卷积操作的输出依次经竖直条纹池化操作、竖直条纹卷积操作和批处理操作，得到竖直条纹输出；水平条纹输出和竖直条纹输出叠加后，经第一激活函数得到条纹输出；条纹输出依次经第二卷积操作和第二激活函数后，与条纹输出逐元素相乘，得到条纹卷积的输出。
第一卷积操作的卷积核取3×3，第二卷积操作的卷积核取1×1，水平条纹卷积操作的卷积核取3×1，竖直条纹卷积操作的卷积核取1×3；第一激活函数选择线性整流函数ReLU，第二激活函数选择S型函数Sigmoid。
S23、构建特征融合模块，融合上下文路径的细节特征和空间路径的关系特征，获取分割特征；特征融合模块依次包括第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块。第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块的输出通道数均为64。
特征融合模块的输入包括第一网络输出、第二网络输出、第三网络输出、第四网络输出、第五网络输出、第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；第五分割模块的输出为分割特征图，作为特征融合模块的输出。
第一网络输出与第五空间输出在通道上融合后输入到第一注意力细化模块中，第一注意力细化模块的输出经双线性插值上采样操作后输入到第一分割模块；第二网络输出与第四空间输出在通道上融合后输入到第二注意力细化模块中，第二注意力细化模块的输出与第一分割模块的输出在通道上融合，经双线性插值上采样操作后，作为第二分割模块的输入；第三网络输出与第三空间输出在通道上融合后输入到第三注意力细化模块中，第三注意力细化模块的输出与第二分割模块的输出在通道上融合，经双线性插值上采样操作后，作为第三分割模块的输入；第四网络输出与第二空间输出在通道上融合后输入到第四注意力细化模块中，第四注意力细化模块的输出与第三分割模块的输出在通道上融合，经双线性插值上采样操作后，作为第四分割模块的输入；第五网络输出与第一空间输出在通道上融合后输入到第五注意力细化模块中，第五注意力细化模块的输出与第四分割模块的输出在通道上融合，作为第五分割模块的输入。第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块和第五注意力细化模块均包括一个注意力模块。
如图4所示，注意力模块包括第三卷积操作、全局池化操作、批归一化操作、第四卷积操作和第三激活函数，第三卷积操作的输入为注意力模块的输入；第三卷积操作的输出依次经全局池化操作、第四卷积操作、批归一化操作和第三激活函数后，与第三卷积操作的输出逐元素相乘，得到注意力模块的输出。
第三卷积操作的卷积核取3×3，第四卷积操作的卷积核取1×1；第三激活函数选择S型函数Sigmoid；第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块均包括一个卷积单元。
S24、借助网络输出层，输出待分割切片多类别分割结果：网络输出层的输入为分割特征图，网络输出层的输出为待分割切片多类别分割结果，作为双通道互补脊柱图像分割模型的输出；网络输出层为卷积核为1×1的卷积操作且输出通道数为分割类别数；
S3、训练双通道互补脊柱图像分割模型，获得最佳双通道互补脊柱图像分割模型：设定损失函数，设置模型参数和评估指标，基于第二脊柱数据集的训练数据集和测试数据集，训练双通道互补脊柱图像分割模型，获得测试数据集的评估指标最大时对应双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型。
S31、基于相似度损失DL、动态缩放交叉熵损失FL和相对熵损失KL，损失函数设定为DFKL：
S32、设置模型参数和评估指标：设置优化器为自适应矩估计Adam，批处理个数设为20，权重衰减设为0.002，训练代数设为500；训练第i代的学习率设为0.001，若第i+1代至第i+10代测试数据集的评估指标相对第i代测试数据集的评估指标均没有增加，则第i+11代的学习率更新为第i代的学习率的十分之一。
评估指标Dice表示为：
其中，TP表示真阳性；FP表示假阳性；FN表示假阴性。
S33、基于第二脊柱数据集的训练数据集和测试数据集，将训练数据集中的待分割切片输入到双通道互补脊柱图像分割模型中进行训练。
S331、将训练数据集中的待分割切片作为双通道互补脊柱图像分割模型的第一输入，经残差U型网络提取待分割切片中椎体和椎间盘的细节特征。
S332、将训练数据集中的待分割切片作为双通道互补脊柱图像分割模型的第二输入，经空间特征提取器提取待分割切片中椎体和椎间盘的关系特征。
S333、细节特征和关系特征输入到特征融合模块中，经第五分割模块输出分割特征图。
S334、分割特征图经网络输出层输出待分割切片多类别分割结果，即双通道互补脊柱图像分割模型的输出，得到双通道互补脊柱图像分割模型的权重参数。
S334、基于待分割切片多类别分割结果与训练数据集中对应的分割切片，将分割切片进行独热One-Hot编码，得到输出通道数为分割类别数的分割切片，计算训练数据集的评估指标Dice。
S335、将测试数据集中的待分割切片作为双通道互补脊柱图像分割模型的第一输入和第二输入，基于双通道互补脊柱图像分割模型的权重参数，获得测试数据集中待分割切片多类别分割结果，借助测试数据集中对应的分割切片经独热One-Hot编码后，计算测试数据集的评估指标Dice。
S336、重复执行步骤S331至步骤S335，直至完成所有训练代数，获得所有训练代数中测试数据集的评估指标Dice最大时，对应双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型。
S4、基于最佳双通道互补脊柱图像分割模型，获取待分割脊柱的磁共振图像切片的分割结果：基于最佳双通道互补脊柱图像分割模型，将待分割脊柱的磁共振图像切片经步骤S1的归一化处理及规整并裁剪后，作为双通道互补脊柱图像分割模型的第一输入和第二输入，获得双通道互补脊柱图像分割模型的输出即为待分割脊柱的磁共振图像切片的分割结果。
在一个具体实施例中，所获取的脊柱磁共振图像及对应的标签图来自于MRSpineSeg挑战数据集(https://www.spine segmentation-Challenge.com)，其中包括172个T2加权的磁共振图像及其相应的标签图。磁共振图像分辨率为512×512～1024×1024，切片数为12～18。数据集中包含有20个类别，则网络输出层的输出通道数即分割类别数取20，其中10个椎骨区域、9个椎间盘区域和背景，但不是所有的磁共振图像都有20个类别。
提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，针对所有待分割切片进行归一化处理，规整并裁剪待分割切片和分割切片尺寸为128×256，划分训练数据集(待分割切片和分割切片：1953对)和测试数据集(待分割切片和分割切片：216对)。
网络参数设置：优化器为自适应矩估计Adam，批处理个数设为20，权重衰减设为0.002，训练代数设为500；训练第i代的学习率设为0.001，若第i+1代至第i+10代测试数据集的评估指标相对第i代测试数据集的评估指标均没有增加，则第i+11代的学习率更新为第i代的学习率的十分之一；显卡选择24G显存的NVIDIA GeForce RTX 3090。
基于训练数据集和测试数据集，选取普遍使用的交叉熵损失CE和所提损失函数DFKL，对所构建的双通道互补脊柱图像分割模型分别进行训练，分别得到测试数据集的最优Dice值。
对比了使用交叉熵损失CE训练经典U型网络(U-Net)分别在牛津大学几何组(Visual Geometry Group)提出的16层网络架构VGG16下(模型一)和在34层残差网络架构ResNet34(模型二)下的最优测试数据集Dice值，以及使用交叉熵损失CE训练经典双通道网络(BiSeNet)在34层残差网络架构ResNet34下(模型三)的最优测试数据集Dice值，如表1所示。交叉熵损失CE下所训练的双通道互补脊柱图像分割模型记为模型四，所提损失函数DFKL下所训练的双通道互补脊柱图像分割模型记为模型五。
表1
如表1所示，所提损失函数DFKL下所提出的双通道互补脊柱图像分割模型(模型五)实现了最高的Dice值(82.802％)，且其在交叉熵损失CE下(模型四)实现了第二高的Dice值(81.691％)，这证明了所提出的双通道互补脊柱图像分割模型的优越性。此外，通过观察结果的统计性数据方差，模型五取得了最低的方差(0.0148)，表示了所构建的双通道互补脊柱图像分割模型在测试数据集上的分割性能具有较强的鲁棒性，方差越小则表明所提出的模型在不同样本之间的分割性能更加地一致和稳定，这种一致性意味着模型能够一致地产生准确和可靠的多类别椎骨和椎间盘区域分割，这对于实际过程中辅助医师进行椎骨和椎间盘的识别应用是至关重要的。图5展示了与其他模型在视觉上的具体分割结果。
本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了解决椎体和椎间盘的多类别图像分割问题，在BiSeNet框架的基础上，通过引入残差U型网络作为上下文路径，突出了编码器和解码器的协同优势；同时，结合了空间特征提取器作为空间路径，并提出了特征融合模块以替代上下文路径和空间路径的原有特征融合模块，所提方法通过利用这些组件的互补优势来提高脊柱图像的分割性能；为了应对细粒度脊柱图像分割中类别相似性和类内变异性挑战，在空间特征提取器中引入了具有不同尺度的条纹池化块，借助不同方向的条纹卷积在每个点上提取垂直和水平关系，以捕捉椎体和椎间盘间的长距离关系和同一类别内的相互联系，有效地补充了残差U型网络的特征提取能力，能够更好地捕捉磁共振图像中脊柱的复杂细节和结构，从而提高图像分割精度；为了利用上下文路径和空间路径的互补特征，在特征融合模块中引入了BiSeNet框架中的注意力细化模块，通过注意力机制渐进地指导残差U型网络和空间特征提取器在每个阶段的特定特征学习，取代了原有BiSeNet框架中特征融合模块针对上下文路径和空间路径特征的同时融合，实现了更好地特征集成，并提高了图像分割精度。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，其包括以下步骤：
S1、预处理脊柱的磁共振图像及对应的标签图：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，针对所有所述待分割切片进行归一化处理，规整并裁剪所述待分割切片和分割切片尺寸，划分训练数据集和测试数据集；
S2、构建用于椎体和椎间盘多类别分割的双通道互补脊柱图像分割模型，包括残差U型网络、空间特征提取器、特征融合模块和网络输出层：当双通道互补脊柱图像分割模型接收到待分割切片图像数据后，分别将待分割切片图像数据输入到残差U型网络和空间特征提取器，再将残差U型网络和空间特征提取器的输出融合后输入到特征融合模块，特征融合模块的输出作为网络输出层的输入，最后由网络输出层输出完成椎体和椎间盘分割后的待分割切片多类别分割结果；其中；残差U型网络用于提取待分割切片中椎体和椎间盘的细节特征；空间特征提取器用于提取待分割切片中椎体和椎间盘的关系特征；特征融合模块融合细节特征和关系特征用于获取分割特征图；网络输出层用于输出待分割切片多类别分割结果；
S21、构建残差U型网络，作为上下文路径，提取待分割切片中椎体和椎间盘的细节特征；所述残差U型网络包括编码器和解码器，所述编码器和解码器分别是基于残差的编码器和解码器，所述编码器依次包括第一级编码器、第二级编码器、第三级编码器、第四级编码器和第五级编码器，所述解码器依次包括第一级解码器、第二级解码器、第三级解码器和第四级解码器；所述第一级编码器的输入为所述双通道互补脊柱图像分割模型的第一输入；
S22、构建空间特征提取器，作为空间路径，提取待分割切片中椎体和椎间盘的关系特征；所述空间特征提取器依次包括第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器；所述第一级条纹提取器的输入为所述双通道互补脊柱图像分割模型的第二输入；
S23、构建特征融合模块，融合上下文路径的细节特征和空间路径的关系特征，获取分割特征；所述特征融合模块依次包括第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块；
S3、训练双通道互补脊柱图像分割模型，获得最佳双通道互补脊柱图像分割模型：设定损失函数，设置模型参数和评估指标，基于训练数据集和测试数据集，训练所述双通道互补脊柱图像分割模型，获得测试数据集的评估指标最大时对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型；
S4、基于最佳双通道互补脊柱图像分割模型，获取待分割脊柱的磁共振图像切片的分割结果：基于最佳双通道互补脊柱图像分割模型，将待分割脊柱的磁共振图像切片经步骤S1的归一化处理及规整并裁剪后，作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，获得所述双通道互补脊柱图像分割模型的输出即待分割脊柱磁共振图像切片的分割结果。
2.根据权利要求1所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、获取脊柱的磁共振图像及对应的标签图，组建脊柱数据集：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，将所有所述待分割切片经灰度化处理后，与所有所述分割切片组建脊柱数据集；
S12、归一化处理脊柱的磁共振图像，获取第一脊柱数据集：针对所述脊柱数据集中所有所述待分割切片，借助总体标准偏差σs和均值m进行归一化处理，将归一化处理后的待分割切片与所对应的分割切片组合，获得第一脊柱数据集；所述归一化处理为：
其中，k(xi,yi)和k′(xi,yi)分别表示归一化处理前和归一化处理后的待分割切片中像素点(xi,yi)处的像素值；
S13、规整并裁剪待分割切片和分割切片尺寸，获取第二脊柱数据集：将第一脊柱数据集中的待分割切片及对应的分割切片进行尺寸规整并裁剪左右两侧的背景，获取第二脊柱数据集，所述尺寸规整后待分割切片及对应的分割切片的尺寸均为256×256，所述裁剪后待分割切片及对应的分割切片的尺寸均为128×256；
S14、基于第二脊柱数据集，划分训练数据集和测试数据集：将第二脊柱数据集中的所有待分割切片及对应的分割切片，分别按照9:1的比例进行待分割切片和分割切片的对应划分，获取用于脊柱图像分割的训练数据集和测试数据集。
3.根据权利要求1所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，步骤S21中所述第五级编码器的输出与其经平均池化后的输出在像素上叠加，作为所述残差U型网络的第一网络输出；所述第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出分别依次作为所述残差U型网络的第二网络输出、第三网络输出、第四网络输出和第五网络输出；所述第一级编码器、第二级编码器、第三级编码器和第四级编码器的输出分别依次作为所述第二级编码器、第三级编码器、第四级编码器和第五级编码器的输入；所述第五级编码器的输出经双线性插值上采样操作后，与所述第四级编码器的输出在通道上融合，作为所述第一级解码器的输入；所述第一级解码器的输出经双线性插值上采样操作后，与所述第三级编码器的输出在通道上融合，作为所述第二级解码器的输入；所述第二级解码器的输出经双线性插值上采样操作后，与所述第二级编码器的输出在通道上融合，作为所述第三级解码器的输入；所述第三级解码器的输出经双线性插值上采样操作后，与所述第一级编码器的输出在通道上融合，作为所述第四级解码器的输入；
步骤S22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出分别依次作为所述空间特征提取器的第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器和第四级条纹提取器的输出分别依次作为所述第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输入；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器均包括一个条纹卷积；
步骤S23中所述特征融合模块的输入包括所述第一网络输出、第二网络输出、第三网络输出、第四网络输出、第五网络输出、第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第五分割模块的输出为分割特征图，作为所述特征融合模块的输出；所述第一网络输出与所述第五空间输出在通道上融合后输入到所述第一注意力细化模块中，所述第一注意力细化模块的输出经双线性插值上采样操作后输入到所述第一分割模块；所述第二网络输出与所述第四空间输出在通道上融合后输入到所述第二注意力细化模块中，所述第二注意力细化模块的输出与所述第一分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第二分割模块的输入；所述第三网络输出与所述第三空间输出在通道上融合后输入到所述第三注意力细化模块中，所述第三注意力细化模块的输出与所述第二分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第三分割模块的输入；所述第四网络输出与所述第二空间输出在通道上融合后输入到所述第四注意力细化模块中，所述第四注意力细化模块的输出与所述第三分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第四分割模块的输入；所述第五网络输出与所述第一空间输出在通道上融合后输入到所述第五注意力细化模块中，所述第五注意力细化模块的输出与所述第四分割模块的输出在通道上融合，作为所述第五分割模块的输入；所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块和第五注意力细化模块均包括一个注意力模块；所述第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块均包括一个卷积单元；
所述步骤S2还包括，借助网络输出层，输出待分割切片多类别分割结果：所述网络输出层的输入为所述分割特征图，所述网络输出层的输出为待分割切片多类别分割结果，作为所述双通道互补脊柱图像分割模型的输出；所述网络输出层的输出通道数为分割类别数。
4.根据权利要求1或3所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，步骤S3具体包括以下步骤：
S31、设定损失函数DFKL；
S32、设置模型参数和评估指标Dice；
S33、基于训练数据集和测试数据集，将训练数据集中的待分割切片输入到所述双通道互补脊柱图像分割模型中进行训练；
S331、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入，经所述残差U型网络提取待分割切片中椎体和椎间盘的细节特征；
S332、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第二输入，经所述空间特征提取器提取待分割切片中椎体和椎间盘的关系特征；
S333、所述细节特征和关系特征输入到所述特征融合模块中，经所述第五分割模块输出分割特征图；
S334、所述分割特征图经所述网络输出层输出待分割切片多类别分割结果，即所述双通道互补脊柱图像分割模型的输出，得到所述双通道互补脊柱图像分割模型的权重参数；
S334、基于待分割切片多类别分割结果与训练数据集中对应的分割切片，将分割切片进行独热One-Hot编码，得到输出通道数为分割类别数的分割切片，计算训练数据集的评估指标Dice；
S335、将测试数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，基于所述双通道互补脊柱图像分割模型的权重参数，获得测试数据集中待分割切片多类别分割结果，借助测试数据集中对应的分割切片经独热One-Hot编码后，计算测试数据集的评估指标Dice；
S336、重复执行步骤S331至步骤S335，直至完成所有训练代数，获得所有训练代数中测试数据集的评估指标Dice最大时，对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型。
5.根据权利要求3所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，所述步骤S22中所述条纹卷积包括第一卷积操作、水平条纹池化操作、竖直条纹池化操作、水平条纹卷积操作、竖直条纹卷积操作、批归一化操作、第二卷积操作、第一激活函数和第二激活函数，所述第一卷积操作的输入为所述条纹卷积的输入；所述第一卷积操作的输出依次经所述水平条纹池化操作、水平条纹卷积操作和批处理操作，得到水平条纹输出；所述第一卷积操作的输出依次经所述竖直条纹池化操作、竖直条纹卷积操作和批处理操作，得到竖直条纹输出；所述水平条纹输出和竖直条纹输出叠加后，经所述第一激活函数得到条纹输出；所述条纹输出依次经所述第二卷积操作和第二激活函数后，与所述条纹输出逐元素相乘，得到所述条纹卷积的输出；
所述步骤S23中所述注意力模块包括第三卷积操作、全局池化操作、批归一化操作、第四卷积操作和第三激活函数，所述第三卷积操作的输入为所述注意力模块的输入；所述第三卷积操作的输出依次经所述全局池化操作、第四卷积操作、批归一化操作和第三激活函数后，与所述第三卷积操作的输出逐元素相乘，得到所述注意力模块的输出。
6.根据权利要求1或2所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，步骤S11中所述待分割切片经灰度化处理前后的通道数分别为1和3，所述分割切片的通道数为1；步骤S21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出通道数依次为32、64、128、256、512、256、128、64、32；步骤S22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出通道数依次为32、64、128、256、512；步骤S23中所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块的输出通道数均为64。
7.根据权利要求3所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，所述步骤S22中所述第一卷积操作的卷积核取3×3，所述第二卷积操作的卷积核取1×1，所述水平条纹卷积操作的卷积核取3×1，所述竖直条纹卷积操作的卷积核取1×3；所述第一激活函数选择线性整流函数ReLU，所述第二激活函数选择S型函数Sigmoid；所述步骤S23中所述第三卷积操作的卷积核取3×3，所述第四卷积操作的卷积核取1×1；所述第三激活函数选择S型函数Sigmoid；所述步骤S24中所述网络输出层为卷积核为1×1的卷积操作。
8.根据权利要求1或3所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，所述步骤S21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器中的所述残差块数量依次设为3、4、6、3、3、2、2、2、2。
9.根据权利要求1所述的用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其特征在于，所述步骤S31中所述损失函数DFKL基于相似度损失DL、动态缩放交叉熵损失FL和相对熵损失KL设定为：
所述步骤S32中所述评估指标Dice表示为：
其中，TP表示真阳性；FP表示假阳性；FN表示假阴性。
CN202310964406.0A 2023-08-01 2023-08-01 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法 Active CN116958556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310964406.0A CN116958556B (zh) 2023-08-01 2023-08-01 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310964406.0A CN116958556B (zh) 2023-08-01 2023-08-01 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法

Publications (2)

Publication Number Publication Date
CN116958556A true CN116958556A (zh) 2023-10-27
CN116958556B CN116958556B (zh) 2024-03-19

Family

ID=88461799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310964406.0A Active CN116958556B (zh) 2023-08-01 2023-08-01 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法

Country Status (1)

Country Link
CN (1) CN116958556B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN110956581A (zh) * 2019-11-29 2020-04-03 南通大学 一种基于双通道生成-融合网络的图像模态变换方法
CN113034495A (zh) * 2021-04-21 2021-06-25 上海交通大学 一种脊柱影像分割方法、介质及电子设备
CN113689434A (zh) * 2021-07-14 2021-11-23 淮阴工学院 一种基于条带池化的图像语义分割方法
CN113758695A (zh) * 2021-08-30 2021-12-07 福州大学 采用视觉复合位感条纹实现旋转轴阶次分析的系统及方法
US20210383536A1 (en) * 2020-06-09 2021-12-09 International Business Machines Corporation Spinal fracture detection in x-ray images
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
WO2022077417A1 (zh) * 2020-10-16 2022-04-21 京东方科技集团股份有限公司 图像处理方法、图像处理设备和可读存储介质
US20220148292A1 (en) * 2020-02-24 2022-05-12 Dalian University Of Technology Method for glass detection in real scenes
CN114821524A (zh) * 2022-04-11 2022-07-29 苏州大学 一种基于BiSeNet的轨道交通道路识别优化方法
CN115082293A (zh) * 2022-06-10 2022-09-20 南京理工大学 一种基于Swin Transformer和CNN双分支耦合的图像配准方法
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
CN115187557A (zh) * 2022-07-19 2022-10-14 成都泽康智骨科技有限公司 基于深度学习的脊柱椎间融合检测装置及方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115601682A (zh) * 2022-10-31 2023-01-13 煤炭科学技术研究院有限公司（Cn） 井下皮带运输机异物检测方法和装置
CN115937170A (zh) * 2022-12-23 2023-04-07 正泰集团研发中心(上海)有限公司 电路板检测方法、装置、计算机设备及存储介质
CN115984856A (zh) * 2022-12-05 2023-04-18 百度(中国)有限公司 文档图像矫正模型的训练方法、文档图像的矫正方法
CN116171462A (zh) * 2021-09-22 2023-05-26 商汤国际私人有限公司 对象序列的识别方法、网络训练方法、装置、设备及介质
CN116229056A (zh) * 2022-12-16 2023-06-06 长沙理工大学 基于双分支特征融合的语义分割方法、装置、设备
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统
CN116452618A (zh) * 2023-03-31 2023-07-18 哈尔滨理工大学 一种三输入脊柱ct图像分割方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN110956581A (zh) * 2019-11-29 2020-04-03 南通大学 一种基于双通道生成-融合网络的图像模态变换方法
US20220148292A1 (en) * 2020-02-24 2022-05-12 Dalian University Of Technology Method for glass detection in real scenes
US20210383536A1 (en) * 2020-06-09 2021-12-09 International Business Machines Corporation Spinal fracture detection in x-ray images
WO2022077417A1 (zh) * 2020-10-16 2022-04-21 京东方科技集团股份有限公司 图像处理方法、图像处理设备和可读存储介质
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
CN113034495A (zh) * 2021-04-21 2021-06-25 上海交通大学 一种脊柱影像分割方法、介质及电子设备
CN113689434A (zh) * 2021-07-14 2021-11-23 淮阴工学院 一种基于条带池化的图像语义分割方法
CN113758695A (zh) * 2021-08-30 2021-12-07 福州大学 采用视觉复合位感条纹实现旋转轴阶次分析的系统及方法
CN116171462A (zh) * 2021-09-22 2023-05-26 商汤国际私人有限公司 对象序列的识别方法、网络训练方法、装置、设备及介质
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN114821524A (zh) * 2022-04-11 2022-07-29 苏州大学 一种基于BiSeNet的轨道交通道路识别优化方法
CN115082293A (zh) * 2022-06-10 2022-09-20 南京理工大学 一种基于Swin Transformer和CNN双分支耦合的图像配准方法
CN115187557A (zh) * 2022-07-19 2022-10-14 成都泽康智骨科技有限公司 基于深度学习的脊柱椎间融合检测装置及方法
CN115482241A (zh) * 2022-10-21 2022-12-16 上海师范大学 一种跨模态双分支互补融合的图像分割方法及装置
CN115601682A (zh) * 2022-10-31 2023-01-13 煤炭科学技术研究院有限公司（Cn） 井下皮带运输机异物检测方法和装置
CN115984856A (zh) * 2022-12-05 2023-04-18 百度(中国)有限公司 文档图像矫正模型的训练方法、文档图像的矫正方法
CN116229056A (zh) * 2022-12-16 2023-06-06 长沙理工大学 基于双分支特征融合的语义分割方法、装置、设备
CN115937170A (zh) * 2022-12-23 2023-04-07 正泰集团研发中心(上海)有限公司 电路板检测方法、装置、计算机设备及存储介质
CN116452618A (zh) * 2023-03-31 2023-07-18 哈尔滨理工大学 一种三输入脊柱ct图像分割方法
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
C. YU等: ""Bisenet: Bilateral segmentation network for real-time fusion segmentation"", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION》, 31 December 2018 (2018-12-31), pages 325 - 341 *
Q. HOU等: ""Strip pooling: Rethinking spatial pooling for scene parsing"", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2020 (2020-12-31), pages 4003 - 4012 *
QINGFENG ZHANG等: ""Spine Medical Image Segmentation Based on Deep Learning"", 《JOURNAL OF HEALTHCARE ENGINEERING》, 31 December 2021 (2021-12-31), pages 1 - 6 *
TSUNG-HAN TSAI等: ""BiSeNet V3: Bilateral segmentation network with coordinate attention for real-time semantic segmentation"", 《NEUROCOMPUTING》, vol. 532, 17 February 2023 (2023-02-17), pages 33 - 42, XP087287552, DOI: 10.1016/j.neucom.2023.02.025 *
YUNJIAO DENG等: ""ELU-Net: An Efficient and Lightweight U-Net for Medical Image Segmentation"", 《IEEE ACCESS》, vol. 10, 7 April 2022 (2022-04-07), pages 35932 - 35941 *
ZHI WANG等: ""Spinal magnetic resonance image segmentation based on U-net"", 《JOURNAL OF RADIATION RESEARCH AND APPLIED SCIENCES 》, vol. 16, 11 June 2023 (2023-06-11), pages 1 - 7 *
于蒙等: ""基于改进BiSeNet的室内障碍物图像语义分割方法"", 《华中科技大学学报(自然科学版)》, vol. 50, no. 6, 31 December 2022 (2022-12-31), pages 133 - 138 *
孙红等: ""深度学习在脊柱质心定位与分割的应用进展"", 《电子科技》, 13 October 2022 (2022-10-13), pages 1 - 8 *

Also Published As

Publication number Publication date
CN116958556B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Sobhaninia et al. Fetal ultrasound image segmentation for measuring biometric parameters using multi-task deep learning
EP3199102B1 (en) Medical image display processing method, medical image display processing device, and program
CN103249358B (zh) 医用图像处理装置
CN112184617B (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
CN112734757B (zh) 一种脊柱X光图像cobb角测量方法
Barata et al. Melanoma detection algorithm based on feature fusion
JP3928978B1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2007023522A1 (ja) 脳疾患の診断支援方法及び装置
CN111047605B (zh) 一种脊椎ct分割网络模型的构建方法及分割方法
CN111932492B (zh) 一种医学图像处理方法、装置及计算机可读存储介质
Larhmam et al. Semi-automatic detection of cervical vertebrae in X-ray images using generalized Hough transform
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN112465771B (zh) 脊柱核磁共振图像的分析方法、装置和计算机设备
CN116958556B (zh) 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
Lin et al. Quantifying Axial Spine Images Using Object-Specific Bi-Path Network
CN112071422B (zh) 基于神经网络的腰椎病变诊断系统
CN110533637B (zh) 一种检测对象的方法及装置
Kurochka et al. An algorithm of segmentation of a human spine X-ray image with the help of Mask R-CNN neural network for the purpose of vertebrae localization
CN115496765A (zh) 脑区的图像处理方法、装置、计算机设备及存储介质
CN113762263A (zh) 一种用于小尺度相似结构的语义分割方法及系统
Chen et al. Multi-Scale Context-Guided Lumbar Spine Disease Identification with Coarse-to-Fine Localization and Classification
CN116630466B (zh) 基于生成对抗性网络的脊柱ct到mr转换方法及系统
Lin et al. ARF-NET: Method of spinal segmentation in deformed spine radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant