CN116542996B - 一种基于特征融合和差分的脊柱ct图像分割方法 - Google Patents

一种基于特征融合和差分的脊柱ct图像分割方法 Download PDF

Info

Publication number
CN116542996B
CN116542996B CN202310779094.6A CN202310779094A CN116542996B CN 116542996 B CN116542996 B CN 116542996B CN 202310779094 A CN202310779094 A CN 202310779094A CN 116542996 B CN116542996 B CN 116542996B
Authority
CN
China
Prior art keywords
feature
conv
layer
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310779094.6A
Other languages
English (en)
Other versions
CN116542996A (zh
Inventor
冯世庆
伊力扎提·伊力哈木
杨锦韬
荣飞豪
孙全庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shiyu Intelligent Medical Technology Co ltd
Shandong Shiyu Intelligent Medical Technology Co ltd
Bangshi Technology Nanjing Co ltd
Original Assignee
Jiangsu Shiyu Intelligent Medical Technology Co ltd
Shandong Shiyu Intelligent Medical Technology Co ltd
Bangshi Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shiyu Intelligent Medical Technology Co ltd, Shandong Shiyu Intelligent Medical Technology Co ltd, Bangshi Technology Nanjing Co ltd filed Critical Jiangsu Shiyu Intelligent Medical Technology Co ltd
Priority to CN202310779094.6A priority Critical patent/CN116542996B/zh
Publication of CN116542996A publication Critical patent/CN116542996A/zh
Application granted granted Critical
Publication of CN116542996B publication Critical patent/CN116542996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种基于特征融合和差分的脊柱CT图像分割方法，属于图像处理领域，该方法包括：将脊柱CT图像输入到预训练的，采用全卷积神经网络的编码器‑解码器架构的分割模型；在所述分割模型第四层特征网络中插入五分支结构的池化层进行感受野扩充，并通过difference module对全部的特征网络进行上下文特征增强；获取并利用各层特征网络中增强的脊柱线索信息来解译得到最终的脊柱分割结果。本申请将各层特征网络中增强的脊柱线索信息的融合后生成分割结果，避免了细节信息的丢失，有效提高了图像分割的准确性。

Description

一种基于特征融合和差分的脊柱CT图像分割方法
技术领域
本申请涉及图像处理领域，尤其涉及一种基于特征融合和差分的脊柱CT图像分割方法。
背景技术
在诊断脊柱退行性疾病的领域中，CT成像技术因其扫描速度快、图像清晰等优点，被广泛应用于观察椎体骨骼与邻近组织的三维形态。基于此，进行精准的腰椎椎体结构分割是分析和治疗的重要步骤，包括：检查椎体骨折、组织退变的异常情况、生物力学建模、腰椎椎间融合、前后腰椎椎间融合。上述的分析和干预的效果对腰椎椎体间分割的准确性提出了很高的要求。
在人工智能技术成熟之前，椎体的自动分割多是通过多位丰富的骨科医师、影像科医师手动勾画来完成。传统的图像分割方法如基于阈值、基于区域的分割等。
目前，基于深度学习的图像分割技术取得了显著进步，其中Unet模型因采用对称的U形结构，考虑到了使用对称的上采样来弥补下采样所损失的信息，在多项医学分割任务中取得了较好的结果。
但是，Unet模型采用的是跳层连接的方式，这种方式强制编码器和解码器仅能在同一深度的层上进行特征融合，忽略了具有不同尺度语义信息的融合，会造成细节信息的丢失，导致图像分割的准确性受到影响。
发明内容
本申请的目的在于克服现有技术中图像分割的准确性受到影响的缺陷，提供一种基于特征融合和差分的脊柱CT图像分割方法。
本申请提供一种基于特征融合和差分的脊柱CT图像分割方法，包括：
S1将原始图像缩放，像素值归一化处理，依次进行卷积处理、正则化和用Relu激活函数增强原始图像特征图的非线性，生成输入特征；
S2从所述输入特征中提取Level1特征、Level2特征、Level3特征和Level4特征的四层特征；
S3使用五分支结构ASPP来对Level4特征进行感受野的扩充；
S4采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强，包括：让各层特征均能捕获到脊柱相关的上下文信息；
S5使用不同大小的三维卷积对所述四层特征的每一层特征进行处理，并引入不确定性参数进行自适应的融合，实现从全局和局部两个角度聚合特征信息；
S6利用聚合的特征信息中增强的脊柱线索信息来解译得到最终的脊柱分割结果。
可选地，所述提取四层特征，包括：
S21使用残差结构对所述输入特征进行处理，得到Level1特征；
S22将所述Level1特征作为输入特征，重复S21获得Level2特征；
S23将所述Level2特征作为输入特征重复两次S21，经过三个带有空洞率的卷积核为3×3×3的CBR处理后，得到Level3特征；
S24将所述Level3特征作为输入特征，重复S23得到Level4特征。
可选地，所述五分支结构ASPP包括：
分支1：用一个1×1的卷积对输入特征进行降维；
分支2：用一个padding为6，dilation为6，核大小为3×3的卷积层对输入特征进行卷积；
分支3：用一个padding为12，dilation为12，核大小为3×3的卷积层对输入特征进行卷积；
分支4：用一个padding为18，dilation为18，核大小为3×3的卷积层对输入特征进行卷积；
分支5：用一个尺寸为输入特征大小的池化层将输入特征池化为1×1，再用一个1×1的卷积进行降维，然后上采样回原始输入大小。
将这五分支的输出进行通道维度拼接，并用1×1卷积层降维至给定通道数，得到最终输出。
可选地，S4中采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强，表达式如下：
Fbranch1＝Conv3×3×3(Conv1×1×1(Conv1×1×1(Fi)))
其中，所述Fi表示多层特征，所述Fbranch1～Fbranch4表示分支1～4，所述Conv1×1×1、Conv3×3×3、Conv5×5×5、Conv7×7×7表示卷积核。
可选地，所述聚合特征信息的表达式如下：
Flevel4＝α11×Conv3×3×3(F4)+β11×Conv5×5×5(F4)
Flevel3＝g21×Conv3×3×3(Concat(F3，Flevel4))+β21×Conv5×5×5(Concat(F3，Flevel4))
Flevel2＝α31×Conv3×3×3(Concat(F2，Flevel3))+β31×Conv5×5×5(Concat(F2，Flevel3))
Flevel1＝α41×Conv3×3×3(Concat(F1，Flevel2))+β41×Conv5×5×5(Concat(F1，Flevel2))
Output＝Conv1×1×1(Flevel1)
其中，Flevel1～Flevel4表示特征网络，所述α11～α41、β11～β41是不确定性参数，所述F1～F4表示第一层特征图到第四层特征图。
可选地，训练对所述输入特征进行处理的分割模型，包括：
对训练样本进行增强：
构建对抗神经网络，包括：生成器网络和判别器网络；
将原始图像数据进行归一化处理，输入到所述生成对抗神经网络；
所述生成器网络包括多个层级的卷积神经网络，每个层级将输入的噪声向量转换为一个更接近真实图像的输出图像；
判别器网络包括多个层级的CNN，每个层级会逐渐减小图像的空间尺寸，并输出一个二进制分类结果，实现数据增强。
可选地，所述对抗神经网络还包括：
采用Wasserstein距离的损失函数，表达式为：
其中，Π(Pr，Pg)是Pr和Pg组合起来的所有可能的联合分布的集合，Pr和Pg分别是x和y的边缘分布律，x为真实样本，y为生成样本。
本申请的优点和有益效果：
本申请提供一种基于特征融合和差分的脊柱CT图像分割方法，包括：S1将原始图像缩放，像素值归一化处理，依次进行卷积处理、正则化和用Relu激活函数增强原始图像特征图的非线性，生成输入特征；S2从所述输入特征中提取Level1特征、Level2特征、Level3特征和Level4特征的四层特征；S3使用五分支结构ASPP来对Level4特征进行感受野的扩充；S4采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强；S5对于所述四层特征的每一层特征，使用不同大小的三维卷积来进行处理，引入不确定性参数来自适应的，从全局和局部两个角度来聚合特征信息；S6利用各层特征网络中增强的脊柱线索信息来解译得到最终的脊柱分割结果。本申请将各层特征网络中增强的脊柱线索信息的融合后生成分割结果，避免了细节信息的丢失，有效提高了图像分割的准确性。
附图说明
图1是本申请中基于特征融合和差分的脊柱CT图像分割流程示意图。
图2是本申请中分割模型整体结示意图。
图3是本申请分割模型中残差结构示意图。
图4是本申请分割模型中预训练Xception结构示意图。
图5是本申请分割模型中ASPP结构示意图。
图6是本申请分割模型中differencemodule结构示意图。
图7是本申请分割模型中StepFusionModule结构示意图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步说明，以使本领域的技术人员可以更好地理解本申请并能予以实施。
以下内容均是为了详细说明本申请要保护的技术方案所提供的具体实施过程的示例，但是本申请还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本申请构思的指引下，采用不同的技术手段实现本申请，因此本申请不受下面具体实施例的限制。
本申请提供的一种基于特征融合和差分的脊柱CT图像分割方法，具体的，本申请通过将脊柱CT图像输入到预训练的，采用全卷积神经网络的编码器-解码器架构的分割模型；在所述分割模型第四层特征网络中插入五分支结构的池化层进行感受野扩充，并通过differencemodule对全部的特征网络进行上下文特征增强；获取并利用各层特征网络中增强的脊柱线索信息来解译得到最终的脊柱分割结果。
本发明基于深度学习技术，通过将编码器和解码器限制在同一深度的层上，同时将各层特征网络中增强的脊柱线索信息的融合后生成分割结果，避免了细节信息的丢失，有效提高了图像分割的准确性。
同时，通过使用WassersteinGAN模型来对数据进行数据增强，丰富数据的同时也避免了分割模型过拟合的问题。使得分割模型使用预训练模型Xception对图像进行预处理，可以在后续的模型训练的过程中大大的提升效率和模型的精度。
请参照图1～图7所示，总体上，基于特征融合和差分的脊柱CT图像分割，采用全卷积神经网络的编码器-解码器架构的预训练模型xception完成对输入三维图像的四层特征提取。采用DifferenceModule来对进行捕获足够的脊柱上下文信息。采用StepFusionModule来完成特征融合。
如图1所示，S1将原始图像缩放，像素值归一化，依次进行卷积处理、正则化和用Relu激活函数增强原始图像特征图的非线性，生成输入特征。
如图2所示，首先将原始图像数据进行预处理，将输入图像(脊柱的核磁共振图像)首先进行卷积核为3×3×3的3D卷积处理，然后进行正则化和Relu激活函数增强特征图的非线性。本申请中，称上述卷积、正则化、Relu激活函数增强非线性的处理过程为CBR过程。
如图1所示，S2对所述输入特征提取Level1特征、Level2特征、Level3特征和Level4特征的四层特征。
获取训练的分割模型，模型结构整个模型采用全卷积神经网络的编码器-解码器架构。
如图4所示，将完成数据增强的图像输入进分割模型中，利用预训练Xcept ion完成三维图像的4层特征提取。
如图3所示，本申请实施例使用残差结构对输入图像进行处理，所述残差结构为两个分支。所述特征提取的具体步骤包括：
S21使用残差结构对所述输入特征进行处理，一个分支为卷积核为3×3×3的CBR处理，另一个分支为卷积核为1×1×1的CBR处理，然后将两个分支的结果进行逐元素相加，得到Level1特征。
S22将所述Level1特征作为输入特征，将Level1特征图像作为输入重复S21的处理过程，获得Level2特征。
S23将Level2特征作为输入图像重复两次残差结构，将输出图像经过三个带有空洞率的卷积核为3×3×3的CBR处理后，得到Level3特征。
S24将Level3特征作为输入特征，再次重复S23的提取过程得到Level4特征。
在所述分割模型第四层特征网络中插入五分支结构的池化层进行感受野扩充，并通过difference module对全部的特征网络进行上下文特征增强。
如图1所示，S3使用五分支结构ASPP来对Level4特征进行感受野的扩充。
使用五分支结构ASPP来对最高层特征网络(第四层)进行感受野的扩充，丰富多尺度信息，从而使得模型能够捕捉到更多与脊柱相关的线索信息。
如图5所示，采用一个五分支结构进行并行处理如下：
分支1：用一个1×1的卷积对input进行降维。
分支2：用一个padding为6，dilation为6，核大小为3×3的卷积层进行卷积。
分支3：用一个padding为12，dilation为12，核大小为3×3的卷积层进行卷积。
分支4：用一个padding为18，dilation为18，核大小为3×3的卷积层进行卷积。
分支5：用一个尺寸为input大小的池化层将input池化为1×1，再用一个1×1的卷积进行降维，最后上采样回原始输入大小。
最后将这五层的输出进行通道维度拼接，并用1×1卷积层降维至给定通道数，得到最终输出。
如图1所示，S4采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强，包括：让各层特征均能捕获到脊柱相关的上下文信息。
接下来，完成最高层特征网络感受野扩充后，对所有的特征网络进行上下文特征增强。
如图6所示，对于各层特征，从多尺度上下文信息的角度来考虑，尽可能的让各层特征均能捕获到足够的脊柱相关的上下文信息。
本申请采用一个具有四个并行分支的DifferenceModule进行脊柱相关的上下文信息捕获。表达式如下：
Fbranch1＝Conv3×3×3(Conv1×1×1(Conv1×1×1(Fi)))
其中，所述Fi表示多层特征，所述Fbranch1～Fbranch4表示分支1～4，所述Conv1×1×1、Conv3×3×3、Conv5×5×5、Conv7×7×7表示卷积核。
如图1所示，S5使用不同大小的三维卷积对所述四层特征的每一层特征进行处理，并引入不确定性参数进行自适应的融合，实现从全局和局部两个角度聚合特征信息。
每一层特征，使用不同大小的三维卷积来进行处理，以从全局和局部两个角度来聚合特征信息，并引入不确定性参数来自适应的融合，实现从全局和局部两个角度聚合特征信息；所述聚合特征信息的表达式如下：
Flevel4＝α11×Conv3×3×3(F4)+β11×Conv5×5×5(F4)
Flevel3＝g21×Conv3×3×3(Concat(F3，Flevel4))+β21×Conv5×5×5(Concat(F3，Flevel4))
Flevel2＝α31×Conv3×3×3(Concat(F2，Flevel3))+β31×Conv5×5×5(Concat(F2，Flevel3))
Flevel1＝α41×Conv3×3×3(Concat(F1，Flevel2))+β41×Conv5×5×5(Concat(F1，Flevel2))
Output＝Conv1×1×1(Flevel1)
其中，Flevel1～Flevel4表示特征网络，所述α11～α41、β11～β41是不确定性参数，所述F1～F4表示第一层特征图到第四层特征图。
S6利用聚合的特征信息中增强的脊柱线索信息来解译得到最终的脊柱分割结果。
在完成了对各层特征的关于脊柱相关的线索信息的增强以后，利用各层特征中不同的脊柱线索信息来解译得到最终的脊柱分割结果。
如图7所示，本申请中提出了StepFusionModule来解译得到最终的脊柱分割结果。
在应用所述分割模型时，需要预先训练所述分割模型。一个好的深度学习神经网络模型，先决条件是大量、准确的标注数据作为训练契机。
然而，CT数据为了做好不同维度的重建数据质量，需要薄层扫描(300～400层/病例)(类似64排螺旋CT的由来)，同时产生的这些数据量之大，导致数据标注工作变得异常困难。除此之外，因保护患者隐私，只能应用通过伦理审核的患者数据，这进一步加大了CT数据的标注困难度，导致可以标注的数据又有限。
所述CT图形在输入前需要进行增强，本实施例中使用生成对抗神经网络模型来完成我们的数据增强。
所述生成对抗网络(GenerativeAdversarialNetwork，简称GAN)是一种深度学习模型，由一组生成器网络和判别器网络组成，通过互相竞争和合作来实现生成逼真的虚假数据。
GAN的核心思想是将生成任务转化为一个博弈过程，在这个过程中，生成器网络和判别器网络相互博弈，互相学习，不断提高各自的能力，直到最终生成的结果足够逼真。
具体的，所述生成器网络的目标是尽可能地伪造真实数据，使得所述判别器网络无法区分真实数据和伪造数据；而所述判别器网络的目标则是尽可能地区分出真实数据和伪造数据。
所述生成器网络的主要作用是生成新的图像样本，由多个层级的卷积神经网络(CNN)组成，其中每个层级都会将输入的噪声向量转换为一个更接近真实图像的输出图像。所述生成器网络接收随机噪声向量作为输入，输出为生成的数据，并将其送入所述判别器网络进行评价。所述生成器网络的输出通常是一张RGB图像，大小与原始训练数据相同。
所述判别器网络的主要作用是判断给定的图像是否真实。所述判别器网络采用二分类器的形式，输入为真实数据或者生成器网络产生的数据，输出标识为真或者假。
所述判别器网络由多个层级的CNN组成，其中每个层级会逐渐减小图像的空间尺寸，并输出一个二进制分类结果(真实或生成的)。判别器的输入可以是任意大小和通道数的图像。
然后，通过损失函数度量GAN的输出图形与真实图像的差异程度。根据所述差异程度，使用反向传播算法来更新生成器网络和判别器神经网络的参数。这个过程会循环进行多次，直到生成器网络能够成功欺骗判别器，并且生成的图像样本和真实数据相似度足够高。
GAN的优点在于：可以生成高质量和多样化的数据，有很强的拓展性和泛化能力，同时也能有效避免一些传统生成模型中的问题，如模式塌陷、模型多样性不足等。
因此，本申请对所述损失函数进行如下优化：
使用Wasserstein距离来优化原始GAN模型中的目标函数。
具体的，所述Wasserstein距离的表达式为：
其中，Π(Pr，Pg)是Pr和Pg组合起来的所有可能的联合分布的集合。
Π(Pr，Pg)中每一个分布的边缘分布都是Pr和Pg。对于每一个可能的联合分布γ而言，可以从中采样(x，y)～γ得到一个真实样本x和一个生成样本y，并算出这对样本的距离||x-y||，所以可以计算该联合分布γ下样本对距离的期望值在所有可能的联合分布中能够对这个期望值取到的下界/>定义为Wasserstein距离。
Wasserstein距离是平滑的，如果要用梯度下降法优化，GAN中的KL散度和JS散度是离散的，根本提供不了梯度，Wasserstein距离却可以。
类似地，在高维空间中如果两个分布不重叠或者重叠部分可忽略，则KL和JS既反映不了远近，也提供不了梯度，但是Wasserstein却可以提供有意义的梯度。
在WassersteinGANs中，判别器网络变成了一个“评分者”，它的输出不再是一个二元分类结果，而是输入样本接近真实数据的评分值。在更新判别器网络时，需要最小化生成数据和真实数据之间的Wasserstein距离，也即最小化判别器给出的评分差异。
在更新生成器网络时，需要最大化生成数据和真实数据之间的Wasserstein距离，也即最大化判别器网络给出的评分差异。通过不断迭代优化这两个目标，训练出能够生成更加高质量图像的生成器网络。
使用Wasserstein距离来优化GANs与传统GANs相比，主要不同在于损失函数的构造方式以及对判别器和生成器网络的更新方法有所变化。由于Wasse rsteinGANs提供了更加稳定和可靠的梯度信号，因此其通常能够产生出更加优秀的生成结果。
因此，使用Wasserstein距离来优化GAN的最大化真实和生成数据之间的距离，而非简单地最小化两个概率分布之间的KL散度。
相对于传统GAN的损失函数，WassersteinGANs提供更加连续的梯度信号，这意味着模型具有更好的稳定性，并且更容易训练。
此外，使用Wasserstein距离还有助于缓解普通GANs的模式崩溃和收敛困难等问题。
本申请使用了优化的WassersteinGAN模型来对数据进行数据增强，丰富数据的过程也避免了分割模型过拟合的问题。分割模型使用预训练模型Xception对图像进行预处理，在后续的模型训练的过程中大大的提升效率和模型的精度。同时模型的训练效率比起之前的研究有了大幅度的提升，图像的分割结果的正确率也有了显著的提升。
对于本申请提出的上述全部技术方案进行实验评价，评价结果如下：
评价指标：本次实验采用的评价指标为Dice，即计算测试集上所有测试样本的Dice，并取均值，得到mDice；
其中Dice是语义分割的评价指标的一种，用来衡量分割结果的准确率。
实验结果如下表：
其中可以看出，Dice是语义分割准确率达到了0.9527。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种基于特征融合和差分的脊柱CT图像分割方法，其特征在于，包括：
S1将原始图像缩放，像素值归一化处理，并依次进行卷积处理、正则化和用Relu激活函数增强原始图像特征图的非线性，生成输入特征，其中所述原始图像是CT图像；
S2从所述输入特征中提取Level1特征、Level2特征、Level3特征和Level4特征的四层特征；
S3使用五分支结构ASPP来对Level4特征进行感受野的扩充；
S4采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强，包括：让各层特征均能捕获到脊柱相关的上下文信息；
S5使用不同大小的三维卷积对所述四层特征的每一层特征进行处理，并引入不确定性参数进行自适应的融合，实现从全局和局部两个角度聚合特征信息；所述聚合特征信息的表达式如下：
Flevel4＝α11×Conv3×3×3(F4)+β11×Conv5×5×5(F4)
Flevel3＝α21×Conv3×3×3(Concat(F3，Flevel4))+β21×Conv5×5×5(Concat(F3，Flevel4))
Flevel2＝α31×Conv3×3×3(Concat(F2，Flevel3))+β31×Conv5×5×5(Concat(F2，Flevel3))
Flevel1＝α41×Conv3×3×3(Concat(F1，Flevel2))+β41×Conv5×5×5(Concat(F1，Flevel2))
Output＝Conv1×1×1(Flevel1)
其中，Flevel1～Flevel4表示特征网络，所述α11～α41、β11～β41是不确定性参数，所述F1～F4表示第一层特征图到第四层特征图；
S6利用聚合的特征信息中增强的脊柱线索信息来解译得到最终的脊柱分割结果。
2.根据权利要求1所述基于特征融合和差分的脊柱CT图像分割方法，其特征在于，所述S2中提取四层特征，包括：
S21使用残差结构对所述输入特征进行处理，得到Level1特征；
S22将所述Level1特征作为输入特征，重复S21获得Level2特征；
S23将所述Level2特征作为输入特征重复两次S21，经过三个带有空洞率的卷积核为3×3×3的CBR处理后，得到Level3特征；
S24将所述Level3特征作为输入特征，重复S23得到Level4特征。
3.根据权利要求1所述基于特征融合和差分的脊柱CT图像分割方法，其特征在于，所述五分支结构ASPP包括：
分支1：用一个1×1的卷积对输入特征进行降维；
分支2：用一个padding为6，dilation为6，核大小为3×3的卷积层对输入特征进行卷积；
分支3：用一个padding为12，dilation为12，核大小为3×3的卷积层对输入特征进行卷积；
分支4：用一个padding为18，dilation为18，核大小为3×3的卷积层对输入特征进行卷积；
分支5：用一个尺寸为输入特征大小的池化层将输入特征池化为1×1，再用一个1×1的卷积进行降维，然后上采样回原始输入大小；
将这五分支的输出进行通道维度拼接，并用1×1卷积层降维至给定通道数，得到最终输出。
4.根据权利要求1所述基于特征融合和差分的脊柱CT图像分割方法，其特征在于，S4中采用四个并行分支的DifferenceModule进行每一层特征的上下文信息增强，表达式如下：
Fbranch1＝Conv3×3×3(Conv1×1×1(Conv1×1×1(Fi)))
其中，所述Fi表示多层特征，所述Fbranch1～Fbranch4表示分支1～4，所述Conv1×1×1、Conv3×3×3、Conv5×5×5、Conv7×7×7表示卷积核。
5.根据权利要求1所述基于特征融合和差分的脊柱CT图像分割方法，其特征在于，训练对所述输入特征进行处理的分割模型，包括：
对训练样本进行增强：
构建生成对抗神经网络，包括：生成器网络和判别器网络；
将原始图像数据进行归一化处理，输入到所述生成对抗神经网络；
所述生成器网络包括多个层级的卷积神经网络，每个层级将输入的噪声向量转换为一个更接近真实图像的输出图像；
判别器网络包括多个层级的CNN，每个层级会逐渐减小图像的空间尺寸，并输出一个二进制分类结果，实现数据增强。
6.根据权利要求5所述基于特征融合和差分的脊柱CT图像分割方法，其特征在于，所述对抗神经网络还包括：
采用Wasserstein距离的损失函数，表达式为：
其中，∏(Pr,Pg)是Pr和Pg组合起来的所有可能的联合分布的集合，Pr和Pg分别是x和y的边缘分布律，x为真实样本，y为生成样本。
CN202310779094.6A 2023-06-29 2023-06-29 一种基于特征融合和差分的脊柱ct图像分割方法 Active CN116542996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310779094.6A CN116542996B (zh) 2023-06-29 2023-06-29 一种基于特征融合和差分的脊柱ct图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310779094.6A CN116542996B (zh) 2023-06-29 2023-06-29 一种基于特征融合和差分的脊柱ct图像分割方法

Publications (2)

Publication Number Publication Date
CN116542996A CN116542996A (zh) 2023-08-04
CN116542996B true CN116542996B (zh) 2024-01-30

Family

ID=87451002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310779094.6A Active CN116542996B (zh) 2023-06-29 2023-06-29 一种基于特征融合和差分的脊柱ct图像分割方法

Country Status (1)

Country Link
CN (1) CN116542996B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287983A (zh) * 2020-10-15 2021-01-29 西安电子科技大学 一种基于深度学习的遥感图像目标提取系统和方法
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115861346A (zh) * 2023-02-16 2023-03-28 邦世科技(南京)有限公司 一种基于场景感知融合网络的脊柱核磁共振图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287983A (zh) * 2020-10-15 2021-01-29 西安电子科技大学 一种基于深度学习的遥感图像目标提取系统和方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN115861346A (zh) * 2023-02-16 2023-03-28 邦世科技(南京)有限公司 一种基于场景感知融合网络的脊柱核磁共振图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进FCN的输电线路航拍图像语义分割方法;赵振兵等;中国科技论文;第13卷(第14期);第1614-1620页 *

Also Published As

Publication number Publication date
CN116542996A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN108765319A (zh) 一种基于生成对抗网络的图像去噪方法
CN109559287A (zh) 一种基于DenseNet生成对抗网络的语义图像修复方法
CN111798369B (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN108648197A (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN110544264A (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
CN110059741A (zh) 基于语义胶囊融合网络的图像识别方法
CN110074813A (zh) 一种超声图像重建方法及系统
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN109544518A (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN110728729A (zh) 一种基于注意机制的无监督ct投影域数据恢复方法
Cao et al. Gastric cancer diagnosis with mask R-CNN
CN113724206B (zh) 一种基于自监督学习的眼底图像血管分割方法及系统
CN110503650A (zh) 眼底血管图像分割对抗样本生成方法、分割网络安全评价方法
CN115482230A (zh) 基于深度卷积脉冲神经网络的肺结核辅助决策系统
CN112488963A (zh) 一种用于农作物病害数据的增强方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN116912680A (zh) Sar舰船识别跨模态域迁移学习、识别方法及系统
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法
CN116542996B (zh) 一种基于特征融合和差分的脊柱ct图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant