CN109389603A - 一种基于预加重策略的全自动腰椎图像分割方法 - Google Patents

Abstract

本发明涉及一种基于预加重策略的全自动腰椎图像分割方法，该方法包括以下步骤：基于人体腰椎结构和磁共振对比特点的数据生成方法，自动生成大量脊柱结构多样性和纹理多样性丰富的脊柱磁共振图像，完成腰椎图像分割模型的训练；利用训练得到的分割模型，实现脊柱磁共振图像数据中椎体和椎间盘的自动分割。本发明可以解决传统训练模型数据局限性的问题，具有较高模型泛化能力；对不同医院不同扫描机器不同扫描参数等导致的种类繁多的腰椎磁共振图像数据适应性强。

Description

一种基于预加重策略的全自动腰椎图像分割方法

技术领域

本发明涉及计算机视觉及人工智能技术领域，更具体地，涉及一种基于预加重策略和深度学习技术的全自动椎体和椎间盘分割方法。

背景技术

下腰痛是临床常见影响中老年人生活质量的症状，许多骨科疾病可以引起下腰痛，目前其发病机制尚未完全阐明。大量研究表明腰椎椎体的Modic改变和椎间盘退化与下腰痛关系密切，而磁共振成像是腰椎影像学诊断的重要手段。自动准确地分割腰椎磁共振图像中的椎体和椎间盘是进行椎体Modic病变自动分析和椎间盘退化自动分级的关键一步。深度卷积网络作为一种深度学习方法，是一种对于椎体和椎间盘分割效果良好的方法，但需要大量人工勾画分割标签的腰椎图像数据，需要有经验的医生进行标注，很难得到大量高质量的带标签数据；其次，不同医院由于存在多种磁共振机器型号多种扫描参数等问题导致腰椎扫描数据种类繁多，需要分别训练针对各自数据的分割模型，时间、人力和物力成本都很高。所以，传统模型训练方法有很大的数据局限性，很难得到泛化能力强的分割模型。

发明内容

为解决上述问题，本发明的目的是提供一种用于腰椎图像中椎体和椎间盘分割的方法，基于腰椎磁共振图像成像特点和人体腰椎结构特点等先验知识的特定的数据生成方法，自动生成大量腰椎结构多样性和纹理多样性丰富的腰椎磁共振图像，解决传统训练模型数据局限性的问题，提高模型泛化能力。

为实现上述目的，本发明提供一种基于预加重策略的椎体和椎间盘分割方法和系统，包括以下步骤：

S1：根据腰椎磁共振图像的图像特点和人体腰椎结构特点等规律，设计图像生成方法，为深度卷积网络的训练生成多样性丰富的训练样本；

S11：首先生成腰椎骨架图像和模拟腰椎骨架轴线，作为之后生成具有腰椎曲线、椎体、椎间盘多样性以及丰富组织纹理的模拟腰椎图像数据的基础数据，具体方法为预先设定矩形作为椎体和椎间盘的基本结构单元，其中，椎体结构单元为ROI1，长为h1，宽为w1；椎间盘结构单元为ROI2，长为h2，宽为w2；ROI1和ROI2按照上下相间分布，相邻ROI1和ROI2的间距为m；6～10个ROI1和6～10个ROI2组合生成一幅腰椎标准骨架图像M0，M0的大小为W×H；并且，M0中所有的ROI1和ROI2内填充白色，M0中其余像素填充为黑色；所有ROI1和ROI2的中心点连线为模拟腰椎骨架轴线；采用四次多项式生成曲线作为模拟腰椎骨架轴线L0，四次多项式的参数为a0、a1、a2、a3、a4,由一幅真实的典型脊椎磁共振图像中的腰椎轴线拟合得到；

S12：为使M0中椎体单元ROI1和椎间盘单元ROI2的位置与角度符合真实人体中的分布，在保持原有ROI1和ROI2上下位置不变的前提下，对所有ROI1和ROI2进行旋转和平移操作，使得模拟腰椎骨架轴线L0始终与所有ROI1和ROI2的中心点连线重合的位置；进一步，对M1图像中的每个基本单元ROI1和ROI2的大小进行0.6-1.5倍的随机缩放；并删除超出图像边缘的单元，得到新生成的模拟腰椎骨架图像M1；

S13：为使M1中的所有椎体单元和椎间盘单元区域信号符合真实腰椎磁共振图像特点，根据磁共振成像原理计算其信号强度，具体方法为，对于M1图像中的所有ROI1和ROI2单元区域，根据人体椎体和椎间盘的T1和T2典型值，随机调整取值范围为10％,利用布洛赫方程计算得到区域内的信号强度，并将得到的信号强度填充至ROI1和ROI2区域内，进而对区域内信号分布按照真实腰椎磁共振图像进行调整，得到新生成的模拟腰椎骨架图像M2；

S14：为模拟真实人体椎体和椎间盘的生长，利用椎体骨自优化方程将M2中所有ROI1单元进行参数随机的形状演化，得到椎体生长过程不同阶段的椎体形态；同时将M2中的所有ROI2单元进行随机的弹性变形，得到新生成的模拟腰椎骨架图像M3；

S15：为使最后合成的模拟腰椎图像中除椎体单元ROI1和椎间盘单元ROI2外的背景与真实腰椎图像一致，针对M3，首先提取T中椎体宽度w，调整M3中每个ROI1和ROI2宽度为w，得到M4，M4与T叠加合成为一幅模拟腰椎图像S；S为训练集的样本；

S16：构建训练数据的最后一步为自动生成有监督分割学习需要的分割标签，为使分割网络更着重于椎体和椎间盘部分的学习，使用特定颜色填充M3中ROI1区域和ROI2区域作为训练的预加重标签，比如每个ROI1区域填充红色，每个ROI2区域填充蓝色。

S2：构建分割网络

为实现腰椎磁共振图像中的椎体和椎间盘分割，建立深度卷积网络，将S作为训练样本输入深度卷积网络中，进行网络训练，直到网络收敛停止训练，得到腰椎图像分割模型；

S3：最后利用训练的腰椎图像分割模型进行椎体和椎间盘分割，将待分割的真实腰椎磁共振图像输入S2训练完成的深度卷积网络中，得到椎体和椎间盘的分割概率图P；为使分割效果更精细，将P和待分割的腰椎图像输入条件随机场，得到最后的椎体和椎间盘分割图。

有益效果：由于采用了基于人体腰椎结构和磁共振对比特点的数据生成方法，理论上，可以生成覆盖所有的腰椎图像中拓扑和纹理可能性的腰椎图像，且由于生成数据自带标签，可以解决传统椎体和椎间盘分割方法需要大量标注的真实数据却很难获得的问题，对不同医院不同扫描机器不同扫描参数等种类繁多的腰椎图像数据适应性强；采用深度卷积网络和条件随机场结合的分割方法，利用图像上下文信息，获得比单纯深度卷积网络更精细的图像分割结果；采用彩色分割标签的预加重策略，能使卷积网络训练时更着重于椎体和椎间盘部分，获得更好的椎体和椎间盘分割效果。

附图说明

图1是本发明基于预加重策略的椎体分割方法流程图；

图2是通过S11得到的腰椎标准骨架图像M0示例；

图3是通过S11得到的腰椎骨架轴线L0示例；

图4是通过S12得到M1图像示例；

图5是通过S13得到的M2图像示例；

图6是通过S14得到的M3图像示例；

图7是通过S15得到的模拟腰椎图像S示例；

图8是分割网络中深度卷积网络的结构图；

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明作进一步的详细说明。

如图1所示，一种基于预加重策略的腰椎图像分割方法，具体包括以下步骤：

S1：构建训练样本；

构建训练样本具体分为以下步骤：

S11：首先生成腰椎骨架图像和模拟腰椎骨架轴线，作为之后生成具有腰椎曲线、椎体、椎间盘多样性以及丰富组织纹理的模拟腰椎图像数据的基础数据。具体方法为预先设定矩形作为椎体和椎间盘的基本结构单元，其中，椎体结构单元为ROI1，长为h1，宽为w1；椎间盘结构单元为ROI2，长为h2，宽为w2；ROI1和ROI2按照上下相间分布，相邻ROI1和ROI2的间距为m；6～10个ROI1和6～10个ROI2组合生成一幅腰椎标准骨架图像M0，M0的大小为W×H；并且，M0中所有的ROI1和ROI2内填充白色，M0中其余像素填充为黑色，如图2；所有ROI1和ROI2的中心点连线为模拟腰椎骨架轴线；本实施例中以以下参数为例，h1＝60，w1＝80，h2＝30，w2＝80，m＝5，W＝H＝800；采用四次多项式生成曲线作为模拟腰椎骨架轴线L0，如图3，四次多项式的参数为a0、a1、a2、a3、a4,由一幅真实的典型脊椎磁共振图像中的腰椎轴线拟合得到，本实施例中拟合得到的值分别为8.02×10^-9，-9.13×10^-6，0.0030，-0.3553，405.4；

S12：为使M0中椎体单元ROI1和椎间盘单元ROI2的位置与角度符合真实人体中的分布，在保持原有ROI1和ROI2上下位置不变的前提下，对所有ROI1和ROI2进行旋转和平移操作，使得模拟腰椎骨架轴线L0始终与所有ROI1和ROI2的中心点连线重合的位置；进一步，对M1图像中的每个基本单元ROI1和ROI2的大小进行0.6-1.5倍的随机缩放；并删除超出图像边缘的单元，得到新生成的模拟腰椎骨架图像M1，如图4；

S13：为使M1中的所有椎体单元和椎间盘单元区域信号符合真实腰椎磁共振图像特点，利用磁共振成像原理计算其信号强度，具体方法为，对于M1图像中的所有ROI1和ROI2单元区域，根据人体椎体和椎间盘的T1和T2典型值，随机调整取值范围为10％,利用布洛赫方程计算得到区域内的信号强度，并将得到的信号强度填充至ROI1和ROI2区域内,进而对区域内信号分布按照真实腰椎磁共振图像进行调整，得到M2，如图5；本实施例中采用T2加权的自旋回波序列为例，此时布洛赫方程的解为 取回波时间TE＝120ms，重复时间TR＝2500ms，椎体的T1和T2典型值分别为800ms、150ms，M₀＝870；椎间盘的T1和T2典型值分别为1000ms、250ms，M₀＝930；计算得椎体和椎间盘的信号强度值分别为373、528，然后截取真实典型腰椎磁共振图像中的椎体和椎间盘区域分别减去各自区域的均值然后分别加上373、528，分别填充至ROI1和ROI2区域，得到M2；

S14：为模拟真实人体椎体和椎间盘生长的不同时期，利用椎体骨自优化方程将M2中所有ROI1单元进行参数随机的形状演化，得到椎体生长过程不同阶段的椎体形态；同时将M2中的所有ROI2单元进行随机的弹性变形，得到新生成的M3，如图6。

骨自优化方程为

其中，U_a(i)为第i个激励探测器的应变能密度，U_a(i)＝1/2σ_iε_i，σ为应力，ε为应变，N为探测力学激励的激励探测器数量，f_i(x)为空间影响函数，β称为比较因子，用以比较力学激励与参考激励值k，B(t)是再造率系数，随时间逐渐减小，ρ_cb为最大骨密度，通常取为密质骨密度；以下列取值为例，N＝9800，α＝2，ρ_cb＝1.74g/cm³，k＝0.2J/g，B(t)＝B₀-B_T/e^0.02t+B_T，B₀＝1.0(g/cm³)²(MPa×时间单位)^-1，B_T＝0.05(g/cm³)²(MPa×时间单位)^-1，d_i(x)为第i个激励探测器到位置x的距离，D＝0.025。ROI2的弹性形变方法为，首先生成随机位移场，即图像中每个像素点位移的大小，随机位移场中横向位移为Δx(x,y)＝rand(-1,1)，纵向位移为Δy(x,y)＝rand(-1,1)，x,y分别为图像中任一点的横纵坐标值，rand(-1,1)为从[-1,1]的均匀分布中随机取值；然后将生成的随机位移场与标准差为σ、均值为0的二维高斯函数进行卷积运算，得到需要的位移场；最后根据位移场中每个点的位移大小对图像中每个点进行位移，并用双线性差值计算位移后的像素值。

S15：为使最后合成的模拟腰椎图像中除椎体单元ROI1和椎间盘单元ROI2外的背景与真实腰椎图像一致，针对M3，首先提取T中椎体宽度w，调整M3中每个ROI1和ROI2宽度为w，得到M4，M4与T叠加合成为一幅模拟腰椎图像S；如图7；S作为训练集的样本。

S16：构建训练数据的最后一步为自动生成有监督分割学习需要的分割标签，为使分割网络更着重于椎体和椎间盘部分的学习，使用特定颜色填充M3中ROI1区域和ROI2区域作为训练的预加重标签，比如每个ROI1区域填充红色，每个ROI2区域填充蓝色。

S2：设计分割网络；

设计分割网络主要分为两步，设计深度卷积网络和条件随机场。首先构建深度卷积网络为1个输入层、18个卷积层、4个降采样层、4个上采样层、1个输出层。

网络结构如图8所示。为利用图像上下文信息并增加条件随机场中每个像素的感知范围，我们采用基于图像灰度和位置信息的全连接条件随机场，能量函数如下：

其中，x为条件随机场输出的分割概率图，ψ_u(x_i)＝-logP(x_i)，P(x_i)为深度卷积网络输出的分割概率图，如果x_i≠x_j，μ(x_i,x_j)＝1，否则为0，f表示每个像素的特征(比如，位置、颜色)，k_G ^(m)表示m个高斯核函数，在这里为

其中，p_i表示第i个像素的位置，I_i表示第i个像素的灰度值，第一个高斯核同时依赖于图像位置和灰度，第二个高斯核依赖于位置，σ_α、σ_β和σ_γ控制高斯核的尺度。根据文献，w₂＝3，σ_γ＝3，其他参数我们通过交叉验证选取，各个参数选取范围分别为w₁∈[5,10]，σ_α∈[50:10:100]，σ_β∈[3:1:10]。最后最小化能量函数E(x)得到最终的分割概率图x，阈值化得到分割结果。

S3：最后利用训练的腰椎图像分割模型进行椎体和椎间盘分割，将待分割的真实腰椎磁共振图像输入S2训练完成的深度卷积网络中，得到椎体和椎间盘的分割概率图P；为使分割效果更精细，将P和待分割的腰椎图像输入条件随机场，得到最后的椎体和椎间盘分割图。

Claims (5)

1.一种基于预加重策略的全自动腰椎图像分割方法，其特征在于，基于腰椎磁共振成像规律和人体腰椎解剖结构的先验知识，通过预先设计的椎体和椎间盘的矩形基本结构单元，构造出具有腰椎曲线、椎体、椎间盘多样性以及丰富组织纹理的模拟腰椎图像数据；进而将训练集的所有椎体和椎间盘区域添加不同的特定颜色作为预加重标识，通过有监督机器学习方法，训练得到分割模型；最终利用训练好的分割模型进行真实磁共振腰椎图像的全自动分割；包括以下步骤：

S1：构建训练数据

S11：预先设定矩形作为椎体和椎间盘的基本结构单元，其中，椎体结构单元为ROI1，长为h1，宽为w1；椎间盘结构单元为ROI2，长为h2，宽为w2；ROI1和ROI2按照上下相间分布，相邻ROI1和ROI2的间距为m；6～10个ROI1和6～10个ROI2组合生成一幅腰椎标准骨架图像M0，M0的大小为W×H；并且，M0中所有的ROI1和ROI2内填充白色，M0中其余像素填充为黑色；所有ROI1和ROI2的中心点连线为模拟腰椎骨架轴线；采用四次多项式生成曲线作为模拟腰椎骨架轴线L0，四次多项式的参数为a0、a1、a2、a3、a4,由一幅真实的典型脊椎磁共振图像T中的腰椎轴线拟合得到；

S12：对于M0，在保持原有ROI1和ROI2上下位置不变的前提下，对所有ROI1和ROI2进行旋转和平移操作，使得模拟腰椎骨架轴线L0始终位于与所有ROI1和ROI2的中心点连线重合的位置；进一步，对M1图像中的每个基本单元ROI1和ROI2的大小进行0.6-1.5倍的随机缩放，并删除超出图像边缘的单元，得到新生成的模拟腰椎骨架图像M1；

S13：对于M1图像中的所有ROI1和ROI2单元区域，根据人体椎体和椎间盘的T1和T2典型值，随机调整取值范围为10％,利用布洛赫方程计算得到区域内的信号强度，进而对区域内信号分布按照真实腰椎磁共振图像进行调整，填充至ROI1和ROI2区域内,得到M2；

S14：利用椎体骨自优化方程将M2中所有ROI1单元进行参数随机的形状演化；同时将M2中所有的ROI2单元进行随机的弹性变形，得到新生成的M3；

S15：针对M3，首先提取T中椎体宽度w，调整M3中每个ROI1和ROI2宽度为w，得到M4，M4与T叠加合成一幅模拟腰椎图像S；S作为训练集的样本；

S16：将M3图像中的每个ROI1区域填充红色，每个ROI2区域填充蓝色，得到图像L；L作为训练集中相应S的预加重标签；

S2：设计分割网络

设计深度卷积网络，将S作为训练样本输入深度卷积网络中，进行网络训练，直到网络收敛停止训练，得到腰椎图像分割模型；

S3：将待分割的真实腰椎磁共振图像输入腰椎图像分割模型，得到椎体和椎间盘的分割概率图P；将P和待分割的腰椎图像输入条件随机场，最终得到椎体和椎间盘分割结果图；其中，条件随机场的能量函数为基于深度卷积网络分割概率和待分割图像位置和灰度信息的能量函数。

2.根据权利要求1所述的一种基于预加重策略的全自动腰椎图像分割方法，其特征在于：ROI1的椎体随机形状演化采用骨自优化方法，其中的自优化方程为引入再造率系数和非线性再造方程阶数的高阶非线性骨再造速率方程。

3.根据权利要求1所述的一种基于预加重策略的全自动腰椎图像分割方法，其特征在于：ROI2的弹性形变方法为，首先生成随机位移场，即图像中每个像素点位移的大小，随机位移场中横向位移为Δx(x,y)＝rand(-1,1)，纵向位移为Δy(x,y)＝rand(-1,1)，x,y分别为图像中任一点的横纵坐标值，rand(-1,1)为从[-1,1]的均匀分布中随机取值；然后将生成的随机位移场与标准差为σ、均值为0的二维高斯函数进行卷积运算，得到需要的位移场；最后根据位移场中每个点的位移大小对图像中每个点进行位移，并用双线性差值计算位移后的像素值。

4.根据权利要求1所述的一种基于预加重策略的全自动腰椎图像分割方法，其特征在于：所有的随机化均按照均匀分布或者高斯分布进行随机化。

5.根据权利要求1所述的一种基于预加重策略的全自动腰椎图像分割方法，其特征在于：设计的分割网络为全卷积网络，包括1个输入层、18个卷积层、4个降采样层、4个上采样层、1个输出层。