CN113240669A - 一种基于核磁影像的脊椎图像处理方法 - Google Patents

一种基于核磁影像的脊椎图像处理方法 Download PDF

Info

Publication number
CN113240669A
CN113240669A CN202110652994.5A CN202110652994A CN113240669A CN 113240669 A CN113240669 A CN 113240669A CN 202110652994 A CN202110652994 A CN 202110652994A CN 113240669 A CN113240669 A CN 113240669A
Authority
CN
China
Prior art keywords
image
noiseless
virtual
spine
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110652994.5A
Other languages
English (en)
Inventor
俞晔
方圆圆
袁凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai First Peoples Hospital
Original Assignee
Shanghai First Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai First Peoples Hospital filed Critical Shanghai First Peoples Hospital
Priority to CN202110652994.5A priority Critical patent/CN113240669A/zh
Publication of CN113240669A publication Critical patent/CN113240669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及核磁影像处理技术领域，公开了一种基于核磁影像的脊椎图像处理方法，包括S1：构建生成对抗网络，所述生成对抗网络包括用于反馈特征损失数值的特征提取模块；S2：训练生成对抗网络根据原始脊椎图像生成虚拟无噪声脊椎图像；S3：利用生成对抗网络处理原始脊椎图像，获得虚拟无噪声脊椎图像；S4：从虚拟无噪声脊椎图像中分割出椎骨区域；该基于核磁影像的脊椎图像处理方法利用存在噪声的原始脊椎图像和真实无噪声脊椎图像训练生成对抗网络，达到去除噪声的目的，然后利用生成对抗网络处理原始脊椎图像，得到虚拟无噪声脊椎图像，从中分割出椎骨，从而避免了噪声对椎骨分割过程的干扰。

Description

一种基于核磁影像的脊椎图像处理方法
技术领域
本发明涉及核磁影像处理技术领域，具体涉及一种基于核磁影像的脊椎图像处理方法。
背景技术
核磁影像是通过对静磁场中的人体施加某种特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象，停止脉冲后，质子在弛豫过程中产生磁共振信号，对该信号进行接收、空间编码和图像重建等，从而获得的医学影像。由于核磁影像能够清晰地显示出脊髓发生的肿瘤、炎症、创伤等实质性病变，所以在相关的疾病诊断中经常会拍摄患者脊椎的核磁影像。
随着脊椎疾病患者的大量增加，医生检视脊椎的核磁影像的任务繁重，为提高工作效率，常常需要对大量的核磁影像进行预处理，将图像中的椎骨分割出来，后续供医生检视，省去了医生自行从核磁影像中分割出椎骨的程序。现有的从脊椎图像分割出椎骨的方法由于噪声的干扰，分割出的椎骨区域往往不够准确，部分方法虽然在分割前对图像进行去噪处理，但是去噪的效果并不理想。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于核磁影像的脊椎图像处理方法，该基于核磁影像的脊椎图像处理方法先对脊椎图像进行较高程度的去噪，然后对椎骨进行分割，得到的椎骨区域更加准确。
为了实现上述目的，本发明提供如下技术方案：
一种基于核磁影像的脊椎图像处理方法，包括：S1：构建生成对抗网络，所述生成对抗网络包括用于反馈特征损失数值的特征提取模块；S2：训练生成对抗网络根据原始脊椎图像生成虚拟无噪声脊椎图像；S3：利用生成对抗网络处理原始脊椎图像，获得虚拟无噪声脊椎图像；S4：从虚拟无噪声脊椎图像中分割出椎骨区域。
在本发明中，优选的，所述S2包括：S21：生成器根据原始脊椎图像生成虚拟无噪声脊椎图像；S22：判别器根据真实无噪声脊椎图像判别虚拟无噪声脊椎图像的真伪；S23：特征提取模块学习虚拟无噪声脊椎图像与真实无噪声脊椎图像之间的特征损失数值，生成对抗网络的损失函数包括该特征损失数值；S24：根据生成和判别结果优化生成器和判别器的参数。
在本发明中，优选的，所述S23包括：S231：将虚拟无噪声脊椎图像和真实无噪声脊椎图像分别输入特征提取模块，特征提取模块对输入对象的特征进行学习；S232：利用特征提取模块对虚拟无噪声脊椎图像和真实无噪声脊椎图像学习到的各自的特征计算特征损失数值。
在本发明中，优选的，S231中所述特征提取模块对输入对象的特征进行学习包括：S2311：利用两个以上的第一卷积层和激活层对输入对象进行卷积和激活，然后利用一个池化层进行最大池化，形成第一特征图像，所述第一卷积层的卷积核数量为64个以上；S2312：利用两个以上的第二卷积层和激活层对第一特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第二特征图像，所述第二卷积层的卷积核数量是第一卷积层的二倍；S2313：利用两个以上的第三卷积层和激活层对第二特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第三特征图像，所述第三卷积层的卷积核数量是第二卷积层的二倍；S2314：利用两个以上的第四卷积层和激活层对第三特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第四特征图像，所述第四卷积层的卷积核数量是第三卷积层的二倍；S2315：利用两个全连接层和激活层对第四特征图像进行卷积和激活，然后利用一个全连接层进行卷积，形成第五特征图像。
在本发明中，优选的，所述特征损失数值的计算公式为
Figure BDA0003112495310000031
在本发明中，优选的，所述S4包括：S41：在虚拟无噪声脊椎图像上用闭合曲线勾勒椎骨的初始轮廓；S42：利用水平集算法使初始轮廓收敛，形成椎骨的精确轮廓，即为椎骨区域。
在本发明中，优选的，所述生成器采用U-net网络。
在本发明中，优选的，所述判别器为Patch-GAN判别器。
在本发明中，优选的，所述损失函数还包括绝对值损失。
与现有技术相比，本发明的有益效果是：
本发明的基于核磁影像的脊椎图像处理方法利用存在噪声的原始脊椎图像和真实无噪声脊椎图像训练生成对抗网络，使其能够生成与真实无噪声脊椎图像极为接近的虚拟无噪声脊椎图像，达到去除噪声的目的，然后利用生成对抗网络处理原始脊椎图像，得到虚拟无噪声脊椎图像，从中分割出椎骨，从而避免了噪声对椎骨分割过程的干扰，提高了分割精度，方便后续的诊断工作；在生成对抗网络中增加特征提取模块，向生成器反馈特征损失数值，能够控制生成器参数优化的方向，加快训练速度；在损失函数中加入绝对值损失，使生成的虚拟无噪声脊椎图像更加清晰；采用水平集算法分割椎骨区域，使得其轮廓精确，距离正则化水平集模型避免了对函数反复初始化，简化了程序，使用改进的边缘检测算子能够增加对弱边界检测的灵敏度。
附图说明
图1为基于核磁影像的脊椎图像处理方法的流程图。
图2为基于核磁影像的脊椎图像处理方法中S2的流程图。
图3为基于核磁影像的脊椎图像处理方法中S23的流程图。
图4为基于核磁影像的脊椎图像处理方法中S231的流程图。
图5为基于核磁影像的脊椎图像处理方法中S4的流程图。
图6为生成对抗网络的结构示意图。
附图中：1-生成器、2-判别器、3-特征提取模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参见图1，本发明一较佳实施方式提供一种基于核磁影像的脊椎图像处理方法，包括：
S1：构建生成对抗网络，所述生成对抗网络包括用于反馈特征损失数值的特征提取模块。
生成对抗网络(GAN,Generative Adversarial Networks)包括生成器(generator)和判别器(discriminator)。生成器负责接收输入的噪声向量，并学习真实样本数据的概率分布，将噪声包装，视图生成一个与真实图像一样的生成样本。判别器属于二分类器，用于将输入的真实图像与生成的虚拟图像区分开来，通过输出一个概率值作为图像真假的评判标准，这个概率值在0～1之间，值越大说明虚拟图像越接近真实图像，值越小说明虚拟图像与真实图像的差距越大。
如图6所示，本实施方式在生成对抗网络中增加了特征提取模块。特征提取模块可以接收真实图像和生成器生成的虚拟图像，并且学习真实图像和虚拟图像的特征，计算二者的特征的差距，即为特征损失数值，并将该特征损失数值反馈给生成器，生成器可以根据特征损失数值优化参数，使生成的虚拟图像更加接近真实图像，从而通过特征损失数值和生成对抗损失共同的约束，使生成器的映射更快速地接近目标映射，提升训练速度。特征提取模块进一步保证生成图像特征细节上的恢复，以确保噪声部位的恢复。
S2：训练生成对抗网络根据原始脊椎图像生成虚拟无噪声脊椎图像。
采用若干高性能的核磁共振仪对人体检测生成的脊椎图像作为对生成对抗网络进行训练和测试所需的样本。上述脊椎图像应当没有明显的噪声区域，然后向这些图像中添加噪声，可以为随机噪声、高斯噪声、椒盐噪声等，从而生成含有噪声的脊椎图像。这样，所有的脊椎图像都有两个版本，一个是不含噪声的，设为真实无噪声脊椎图像，另一个是含有噪声的，设为原始脊椎图像。对应的真实无噪声脊椎图像和原始脊椎图像作为一个图像对，用于生成对抗网络的一次完整训练。
具体的，如图2所示，S2包括：
S21：生成器根据原始脊椎图像生成虚拟无噪声脊椎图像。
S22：判别器根据真实无噪声脊椎图像判别虚拟无噪声脊椎图像的真伪。
将原始脊椎图像输入到生成器中经过加工生成具有真实无噪声脊椎图像分布规律的虚拟无噪声脊椎图像，并和真实无噪声脊椎图像一起输入到判别器中，由判别器输出概率值来做真假的评判。设真实无噪声脊椎图像输入到判别器中产生的概率值为D(x)，虚拟无噪声脊椎图像输入到判别器中产生的概率值为D(G(z))(G(z)代表生成器生成虚拟无噪声脊椎图像的生成操作)，其值的大小在0到1之间，值越大代表图像越真实。训练过程中采用反向传播和梯度下降法来训练网络。为了防止出现参数更新问题，两个模型单独交替训练。在给定初始生成器后，输入一些原始脊椎图像，会得到一些虚拟无噪声脊椎图像，此时的生成器处于劣势，生成的样本不够真实，不容易骗过判别器，因此输入到判别器后输出的D(G(z))很容易被标为0，也因此就有了误差来源。当有了误差来源，通过反向传播，从而对生成器中的参数进行更新，此时保持判别器中的参数不发生变化。参数更新后，在下一轮生成任务中，生成器开始生成质量更高的虚拟无噪声脊椎图像，慢慢占据优势，使得判别器无法判别数据真实来源，从而把应该标为0的数据标成1，也就有了误差来源。此时保持生成器参数不变，对判别器的参数进行更新，更新完成后继而完成了判别器的训练。经过一定的迭代次数，即可完成对生成对抗网络的训练。
S23：特征提取模块学习虚拟无噪声脊椎图像与真实无噪声脊椎图像之间的特征损失数值，生成对抗网络的损失函数包括该特征损失数值。
一般来说，图像中可以包含内容特征和风格特征两部分信息，内容特征就是某一卷积层特征图谱，风格特征就是衡量不同特征之间的相关性，也就是两个特征之间的相关系数。假如一种特征出现，另一种特征也就随之出现，就说明两者之间的相关性很高。与内容特征不同的是，内容特征可以在某一层卷积层进行运算，而风格特征一定是对多个卷积层进行运算。特征损失数值就是将风格特征和内容特征结合起来，利用公式计算出两个图像之间的特征损失数值，反馈给生成器，生成器根据特征损失数值对其参数进行优化。因此，可以将特征损失数值直接加入到损失函数中，作为损失函数的一部分。损失函数可以记为：
G＝LGAN(G,D)+μ1L1
其中，LGAN(G,N)表示生成对抗损失，L1为特征损失数值，μ1为特征损失数值的系数。
具体的，如图3所示，S23包括：
S231：将虚拟无噪声脊椎图像和真实无噪声脊椎图像分别输入特征提取模块，特征提取模块对输入对象的特征进行学习。
特征提取模块可以由若干卷积层、激活层、池化层和全连接层组成，分别对虚拟无噪声脊椎图像和真实无噪声脊椎图像进行卷积、激活、最大池化等操作，从而在激活层提取出不同深度的虚拟无噪声脊椎图像和真实无噪声脊椎图像的特征，即对两个图像的特征的学习。
S232：利用特征提取模块对虚拟无噪声脊椎图像和真实无噪声脊椎图像学习到的各自的特征计算特征损失数值。
在完成特征学习后，可以对两个图像同一深度的特征之间的差异进行计算，将该计算结果作为特征损失数值，纳入生成对抗网络的损失函数。
具体的，如图4所示，S231中的特征提取模块对输入对象的特征进行学习包括：
S2311：利用两个以上的第一卷积层和激活层对输入对象进行卷积和激活，然后利用一个池化层进行最大池化，形成第一特征图像，所述第一卷积层的卷积核数量为64个以上。
以64个卷积核的第一卷积层为例，输入对象为m×m×n的图像，先以两层用64个n×n的卷积核的卷积层对输入图像进行卷积，每个卷积层后跟一个激活层进行激活操作，激活函数为relu函数，输出结果是m×m×64的图像，接下来以一个池化层进行最大池化，将m×m×64的图像压缩为m/2×m/2×64的图像，为方便区分，将该图像记为第一特征图像。
S2312：利用两个以上的第二卷积层和激活层对第一特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第二特征图像，所述第二卷积层的卷积核数量是第一卷积层的二倍。
将第二卷积层的卷积核数量设置为第一卷积层的二倍，即128个n×n的卷积核，激活层的激活函数仍为relu函数。这样可以进一步提取图像的更加细节的特征，同时第二卷积层与第一卷积层的卷积核数量之间的变化规律也较为简单，避免了网络结构过于复杂。本步骤中的卷积核激活操作与前一步骤中类似，输出m/4×m/4×128的图像，为方便区分，将该图像记为第二特征图像。
S2313：利用两个以上的第三卷积层和激活层对第二特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第三特征图像，所述第三卷积层的卷积核数量是第二卷积层的二倍。
该步骤中，第三卷积层为256个n×n的卷积核，激活层的激活函数仍为relu函数。本步骤中的卷积核激活操作与前一步骤中类似，输出m/8×m/8×256的图像，为方便区分，将该图像记为第三特征图像。
S2314：利用两个以上的第四卷积层和激活层对第三特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第四特征图像，所述第四卷积层的卷积核数量是第三卷积层的二倍。
该步骤中，第四卷积层为512个n×n的卷积核，激活层的激活函数仍为relu函数。本步骤中的卷积核激活操作与前一步骤中类似，输出m/16×m/16×512的图像，为方便区分，将该图像记为第四特征图像。
S2315：利用两个全连接层和激活层对第三特征图像进行卷积和激活，然后利用一个全连接层进行卷积，形成第五特征图像。
该步骤中，全连接层的神经元数应当较大，以满足对特征细节的分类需求，常用的神经元数量为4096个。为方便区分，将最后一个全连接层作用后形成的图像记为第五特征图像。
下一步即可对虚拟无噪声脊椎图像和真实无噪声脊椎图像的同一深度的特征之间的差异进行计算。具体的，其计算公式为：
Figure BDA0003112495310000091
其中，φj表示特征提取模块中的第j个激活层激活后形成的图像信息，IG表示虚拟无噪声脊椎图像信息，IR表示真实无噪声脊椎图像信息，C、W、H分别代表当前层的通道数、宽度和高度。利用上述公式计算得到的数值即为特征损失数值。通过添加特征损失数值，可以保证虚拟无噪声脊椎图像能够更好地恢复原始脊椎图像的特征细节，提高了图像去噪和恢复的效果。
S24：根据生成和判别结果优化生成器和判别器的参数。
利用上述的真实无噪声脊椎图像和原始脊椎图像的图像对训练生成对抗网络，在生成器与判别器博弈的过程中，生成器不断提高自身网络生成虚拟无噪声脊椎图像的能力，使其越来越接近真实无噪声脊椎图像，判别器不断提高自身的判别图像真伪的能力。经过多次迭代，两个网络通过对抗训练，使判别器的输出概率值为0.5，此时说明判别器无法判断输入的图像是否为真，生成器的效果达到最佳，即完成了训练。
S3：利用生成对抗网络处理原始脊椎图像，获得虚拟无噪声脊椎图像。
该步骤中的原始脊椎图像不再是通过真实无噪声脊椎图像加噪声获得的，而是在实实在在的利用核磁共振仪对人体检测获得脊椎图像，由于仪器性能、检测环境的因素的影响，图像上存在一定的噪声。将原始脊椎图像输入生成对抗网络后映射生成的虚拟无噪声脊椎图像非常接近真实无噪声脊椎图像，作为椎骨分割的基础图像，可以避免噪声对分割过程的影响。
S4：从虚拟无噪声脊椎图像中分割出椎骨区域。
该步骤可以采用各类图像分割技术实现，例如基于边缘的分割方法、阈值分割方法、区域生长方法、k均值聚类算法等，本实施方式优选采用水平集算法。具体的，如图5所示，S4包括：
S41：在虚拟无噪声脊椎图像上用闭合曲线勾勒椎骨的初始轮廓。
该步骤可以利用图像处理软件来进行，只需勾勒出一条闭合曲线，将椎骨全部包含进去。通过手动的方式在图像上选取一个区域作为演化的初始轮廓，操作简单、识别难度低，普通人即可操作，无需专业医护人员。在曲线演变过程中，该初始轮廓会沿着法向量所在方向不断地向内收缩，从而不断地靠近椎骨边缘。当初始轮廓区域大于目标区域时，在水平集演变过程中该初始轮廓会向内收缩，并不断接近目标边缘；相反，若初始轮廓区域小于目标区域，则在水平集演变过程中该初始轮廓会向外延伸。
S42：利用水平集算法使初始轮廓收敛，形成椎骨的精确轮廓，即为椎骨区域。
水平集算法的主要思想是将低维难以求解的n维曲面问题通过提升维度到n+1维的超曲面，然后通过解超曲面能量泛函方程来得到低维解的目的。
用C表示n维平面闭合曲线，用φ(x,y)来表示曲线C随时间变化的函数。随时间t变化的平面封闭曲线C(t)可表示为：
C(t)＝{(x,y),φ(x,y,t)＝c}
由数学推导，对随时间变化的二维函数水平集C(t)＝{(x,y),φ(x,y,t)＝c}，其曲线演化可以用一个哈密顿-雅可比方程来表示：
Figure BDA0003112495310000111
其中，U(m)表示曲线上某个点在m时刻的速度，
Figure BDA0003112495310000112
表示φ的梯度，求解该偏微分方程，即可进一步求得曲线C(t)。
求解上述偏微分方程，应当将水平集函数初始化为符号距离函数，在t＝0时刻，符号距离函数为：
φ(x,y,t＝0)＝±d(x,y,C(t＝0))
其中，d(x,y)表示点(x,y)到初始轮廓的最短距离，而符号是依据点(x,y)与曲线位置关系来决定的，如果点在曲线的外侧，则取正号，则内侧则取负号。上述符号距离函数可改写为：
Figure BDA0003112495310000113
由于水平集函数在曲线演变过程中一直保持为符号距离函数，所以可以将水平集函数表示成离散网格的形式。在二维空间中，设网格间隔为n，时间步长为Δt，则在m时刻，点(i,j)处的水平集函数为φ(in,jn,mΔt)，为了方便，用
Figure BDA0003112495310000121
来代替该函数，则原哈密顿-雅可比方程可表示成新的哈密顿-雅可比方程：
Figure BDA0003112495310000122
其中，
Figure BDA0003112495310000123
表示m时刻速度函数在(i,j)处的函数值，用有限差分法可以求解上述方程。首先，引进三种差分算子，即前向差分算子、中心差分算子、后向差分算子：
Figure BDA0003112495310000124
Figure BDA0003112495310000125
Figure BDA0003112495310000126
则上述新的哈密顿-雅可比方程可以改写成：
Figure BDA0003112495310000127
其中，
Figure BDA0003112495310000128
和
Figure BDA0003112495310000129
可分别表示为：
Figure BDA00031124953100001210
Figure BDA00031124953100001211
与此同时，速度函数U可以写成：
U＝Uprop+Ucurv+Uadv
其中，Ucurv＝-γk表示曲率演化速度，Uadv＝U(u(x,y,t),v(x,y,t))·S表示水平对流速度，Uprop＝U0表示常量演化速度，则上述方程可以改写为：
Figure BDA00031124953100001212
通过对上式求解就能循环对水平集演化函数进行更新，更新完毕后，利用轮廓检测法可以得到零水平集。其中，时间步长Δt应满足U·Δt≤n，U为速度函数，n表示网格间隔，该条件表示每次零水平集的移动不能大于一个网格间隔，只有满足这一条件，才能保证水平集函数在演变过程中的稳定性和收敛性。
本实施方式中，优选的，生成器采用U-net网络。U-net网络结构是由编码器、特征转换器和解码器三部分构成。编码器利用最大池化层进行下采样，提取原始脊椎图像的特征，这一部分主要包含卷积层、激活层和归一化层。特征转换器由一系列残差单元组成，用来实现含噪声到无噪声的特征转换。这里残差单元中卷积核大小均设成3*3，数目设置为64个。卷积核大小取3*3的主要目的是在保证具有相同感受野的条件下，网络能够提取更丰富的特征信息，在一定程度上提升了神经网络的效果。解码器利用反卷积层进行上采样，用来重组除去噪声的脊椎图像，它包含反卷积层，激活层和归一化层。此处激活层选取Relu激活函数。编码器模块包含三个卷积层，特征转化器由六个残差块组成，解码器由三个反卷积层构成。
本实施方式中，优选的，判别器为Patch-GAN判别器。在Patch-GAN判别器中不是以虚拟无噪声脊椎图像整体作为输入，而是将虚拟无噪声脊椎图像划分为N*N个patch后，将每一个patch输入判别器，对每一个patch进行评分，作为评估其真伪的标准，最终取所有patch块的平均值作为最终得分。这样的处理更利于对图像局部信息进行恢复。通过使用patch-GAN可以对图像分块，更好的对图像局部信息做出判断，提高生成对抗网络对虚拟图像的高频部分的生成恢复能力。
本实施方式中，优选的，生成对抗网络的损失函数还包括绝对值损失。如前所述，加入前述特征损失数值以后的损失函数为G＝LGAN(G,D)+μ1L1。在此基础上，加入绝对值损失，则新的损失函数表示为：
G＝LGAN(G,D)+μ1L1+μ2L2
其中，L2表示绝对值损失数值，μ2表示绝对值损失数值的系数。在损失函数中加入绝对值损失，可以使虚拟无噪声脊椎图像更加接近真实无噪声脊椎图像，减少生成虚拟无噪声脊椎图像出现模糊区域的情况，使图像清晰度更高。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (9)

1.一种基于核磁影像的脊椎图像处理方法，其特征在于，包括：
S1：构建生成对抗网络，所述生成对抗网络包括用于反馈特征损失数值的特征提取模块；
S2：训练生成对抗网络根据原始脊椎图像生成虚拟无噪声脊椎图像；
S3：利用生成对抗网络处理原始脊椎图像，获得虚拟无噪声脊椎图像；
S4：从虚拟无噪声脊椎图像中分割出椎骨区域。
2.根据权利要求1所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述S2包括：
S21：生成器根据原始脊椎图像生成虚拟无噪声脊椎图像；
S22：判别器根据真实无噪声脊椎图像判别虚拟无噪声脊椎图像的真伪；
S23：特征提取模块学习虚拟无噪声脊椎图像与真实无噪声脊椎图像之间的特征损失数值，生成对抗网络的损失函数G＝LGAN(G,D)+μ1L1，其中，LGAN(G,N)表示生成对抗损失，L1为特征损失数值，μ1为特征损失数值的系数；
S24：根据生成和判别结果优化生成器和判别器的参数。
3.根据权利要求2所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述S23包括：
S231：将虚拟无噪声脊椎图像和真实无噪声脊椎图像分别输入特征提取模块，特征提取模块对输入对象的特征进行学习；
S232：利用特征提取模块对虚拟无噪声脊椎图像和真实无噪声脊椎图像学习到的各自的特征计算特征损失数值。
4.根据权利要求3所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，S231中所述特征提取模块对输入对象的特征进行学习包括：
S2311：利用两个以上的第一卷积层和激活层对输入对象进行卷积和激活，然后利用一个池化层进行最大池化，形成第一特征图像，所述第一卷积层的卷积核数量为64个以上；
S2312：利用两个以上的第二卷积层和激活层对第一特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第二特征图像，所述第二卷积层的卷积核数量是第一卷积层的二倍；
S2313：利用两个以上的第三卷积层和激活层对第二特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第三特征图像，所述第三卷积层的卷积核数量是第二卷积层的二倍；
S2314：利用两个以上的第四卷积层和激活层对第三特征图像进行卷积和激活，然后利用一个池化层进行最大池化，形成第四特征图像，所述第四卷积层的卷积核数量是第三卷积层的二倍；
S2315：利用两个全连接层和激活层对第四特征图像进行卷积和激活，然后利用一个全连接层进行卷积，形成第五特征图像。
5.根据权利要求4所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述特征损失数值的计算公式为
Figure FDA0003112495300000021
其中，φj表示特征提取模块中的第j个激活层激活后形成的图像信息，IG表示虚拟无噪声脊椎图像信息，IR表示真实无噪声脊椎图像信息，C、W、H分别代表当前层的通道数、宽度和高度。
6.根据权利要求1所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述S4包括：
S41：在虚拟无噪声脊椎图像上用闭合曲线勾勒椎骨的初始轮廓；
S42：利用水平集算法使初始轮廓收敛，形成椎骨的精确轮廓，即为椎骨区域。
7.根据权利要求2所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述生成器采用U-net网络，通过下采样提取得到原始脊椎图像特征，再对原始脊椎图像特征进行上采样重组除去噪声的脊椎图像，以实现含噪声到无噪声的特征转换。
8.根据权利要求2所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述判别器为Patch-GAN判别器，具体判别过程是将虚拟无噪声脊椎图像划分为N*N个patch后，对每一个patch输入判别器然后进行评分，取所有patch块的平均值作为最终得分。
9.根据权利要求2所述的一种基于核磁影像的脊椎图像处理方法，其特征在于，所述损失函数加入绝对值损失得出新的损失函数G＝LGAN(G,D)+μ1L1+μ2L2，其中，L2表示绝对值损失数值，μ2表示绝对值损失数值的系数。
CN202110652994.5A 2021-06-11 2021-06-11 一种基于核磁影像的脊椎图像处理方法 Pending CN113240669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110652994.5A CN113240669A (zh) 2021-06-11 2021-06-11 一种基于核磁影像的脊椎图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110652994.5A CN113240669A (zh) 2021-06-11 2021-06-11 一种基于核磁影像的脊椎图像处理方法

Publications (1)

Publication Number Publication Date
CN113240669A true CN113240669A (zh) 2021-08-10

Family

ID=77139591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110652994.5A Pending CN113240669A (zh) 2021-06-11 2021-06-11 一种基于核磁影像的脊椎图像处理方法

Country Status (1)

Country Link
CN (1) CN113240669A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345469A (zh) * 2018-09-07 2019-02-15 苏州大学 一种基于条件生成对抗网络的oct成像中散斑去噪方法
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111223062A (zh) * 2020-01-08 2020-06-02 西安电子科技大学 基于生成对抗网络的图像去模糊方法
CN112258415A (zh) * 2020-10-27 2021-01-22 浙江工业大学 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
CN112270654A (zh) * 2020-11-02 2021-01-26 浙江理工大学 基于多通道gan的图像去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345469A (zh) * 2018-09-07 2019-02-15 苏州大学 一种基于条件生成对抗网络的oct成像中散斑去噪方法
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111223062A (zh) * 2020-01-08 2020-06-02 西安电子科技大学 基于生成对抗网络的图像去模糊方法
CN112258415A (zh) * 2020-10-27 2021-01-22 浙江工业大学 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
CN112270654A (zh) * 2020-11-02 2021-01-26 浙江理工大学 基于多通道gan的图像去噪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ABEER ALSAIARI， ET AL.: "Image Denoising Using A Generative Adversarial Network", 《2019 IEEE 2ND INTERNATIONAL CONFERENCE ON INFORMATION AND COMPUTER TECHNOLOGIES》 *
PHILLIP ISOLA，ET AL.: "Image-to-Image Translation with Conditional Adversarial Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
QIONGSHUAI LYU，ET AL.: "DeGAN: Mixed noise removal via generative adversarial networks", 《APPLIED SOFT COMPUTING JOURNAL》 *
李帅: "脊柱核磁共振图像的分割算法研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
王云飞等: "基于Msmall-Patch训练的夜晚单幅图像去雾算法――MP-CGAN", 《计算机应用》 *

Similar Documents

Publication Publication Date Title
Li et al. Residual u-net for retinal vessel segmentation
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Carass et al. Longitudinal multiple sclerosis lesion segmentation: resource and challenge
US9730643B2 (en) Method and system for anatomical object detection using marginal space deep neural networks
Nandi et al. Principal component analysis in medical image processing: a study
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN110175630A (zh) 用于近似深入神经网络以用于解剖对象检测的方法和系统
CN108038513A (zh) 一种肝脏超声图像的特征分类方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
EP4030385A1 (en) Devices and process for synthesizing images from a source nature to a target nature
US20210248747A1 (en) Organs at risk auto-contouring system and methods
CN110110727A (zh) 基于条件随机场和贝叶斯后处理的图像分割方法
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN111709446A (zh) 基于改进的密集连接网络的x线胸片分类装置
Alves et al. Extracting lungs from ct images using fully convolutional networks
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN115830016A (zh) 医学图像配准模型训练方法及设备
Wang et al. Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images
Zhan et al. Advancements in Feature Extraction Recognition of Medical Imaging Systems Through Deep Learning Technique
CN114492519A (zh) 一种基于超声回波射频信号的肺超声特殊征象b线识别分类方法
Molachan et al. Brain Tumor Detection that uses CNN in MRI
Sengun et al. Automatic liver segmentation from CT images using deep learning algorithms: a comparative study
CN113240669A (zh) 一种基于核磁影像的脊椎图像处理方法
Rani Kaka et al. Alzheimer's disease detection using correlation based ensemble feature selection and multi support vector machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210810