CN108205806A - 一种锥束ct图像三维颅面结构的自动解析方法 - Google Patents

Abstract

本发明公布了一种锥束CT图像三维颅面结构的自动解析方法，基于图画模型和全卷积神经网络，训练图画模型用于解剖结构的自动检测与定位，利用全卷积神经网络构造解剖结构所在的锥束CT图像与对应的标注图像之间的映射。在测试阶段，对输入的三维锥束CT图像，首先利用图画模型检测感兴趣的解剖结构的空间位置，再利用全卷积深度网络估计该结构所在的图像子块的自动标注，实现三维颅面结构自动解析。本发明能够对锥束CT图像中感兴趣的三维颅面结构进行自动分割与标注，获得稳定结构的自动解析与分割，可用于口腔正畸临床治疗方案的制定与疗效的评价。

Description

一种锥束CT图像三维颅面结构的自动解析方法

技术领域

本发明涉及计算机视觉与口腔临床医学领域，具体涉及一种锥束CT图像中三维颅面结构自动解析的方法。

背景技术

颅面结构的自动解析是进行临床口腔正畸治疗评价以及手术预测的基础，例如重叠治疗前后的锥束CT图像以可视化并评价治疗与生长造成的颅面形态的变化，就依赖从锥束CT图像中分割的局部稳定结构。考虑到局部细小骨结构，对颅面部口腔正畸治疗中相对稳定的结构，例如颧弓、前颅底进行自动分割仍存在困难。手工交互分割费时并依赖于相关人员的经验。锥束CT图像具有相对较低的信噪比，软组织与近邻细小结构之间对比度较低，一些稳定结构例如颧弓甚至与相邻接骨结构没有明显的界限，这些都造成锥束CT图像自动分割的困难。传统的锥束CT图像解析方法包含基于阈值及形态学算子的方法与基于三维统计模型的方法。基于阈值及形态学算子的方法对图像伪影敏感，对于信噪比较低的锥束CT图像不能有效地进行结构解析。基于统计模型的分割方法从预先标注的训练数据集获取三维骨骼表面或灰度统计模型，并将该模型与锥束CT图像进行非刚性配准以获取标注。但是基于统计表面或者灰度模型的方法难以在缩减的子空间中处理细微结构。使用图像配准或者模板变形的方法进行标注迁移与融合常常具有较高的在线计算代价。近年来，卷积神经网络被用于进行医学图像的特征检测与分割，但至今还缺乏对大规模体数据进行端到端的细小骨结构的分割与标注的有效技术方案。

发明内容

为了克服上述现有技术的不足，本发明提供一种锥束CT图像三维颅面结构的自动解析方法，从输入的锥束CT图像中，对感兴趣的颅面结构进行自动分割与标注，获得临床正畸治疗中稳定结构的自动解析与分割，可用于口腔正畸临床治疗方案的制定与疗效的评价。

为了达到上述目的，本发明提供了一种基于图画(pictorial)模型以及全卷积神经网络的三维颅面结构自动解析方法。首先，利用预先标注的三维颅面图像作为训练样本学习图画模型用于解剖结构的自动检测与定位，其中利用SVM分类器生成图像表观所对应的一元势能项，解剖结构之间的关系势能项则由描述近邻结构在三维空间中的相对位置关系的高斯分布定义。然后，利用全卷积神经网络构造解剖结构所在的锥束CT图像与对应的标注图像之间的映射。不同于传统卷积网络中利用卷积以及池化操作获取图像的特征图，该网络将去卷积(deconvolution)以及去池化(unpooling)操作叠加在由卷积以及池化获取的抽象图层之后，多层的去卷积以及去池化操作可以从锥束CT图像的抽象特征图重建对应的稠密分割图。该网络基于重建分割图像与目标标注图像间的差异构造代价函数，以有监督的方式获取网络参数。在测试阶段对输入的三维锥束CT图像，首先利用图画模型检测感兴趣的解剖结构的空间位置，再利用全卷积深度网络估计该结构所在的图像子块的自动标注，实现三维颅面结构自动解析。

本发明提供的技术方案是：

一种锥束CT图像三维颅面结构的自动解析方法，基于图画模型和全卷积神经网络，对锥束CT图像中感兴趣的三维颅面结构进行自动分割与标注，从而获得稳定结构的自动解析与分割；包括以下步骤：

步骤1：训练图画模型用于解剖结构的自动检测：

11)建立三维分层图画模型，所述图画模型描述锥束CT图像中所有感兴趣结构之间的空间相互关系，从所述图画模型推出结构锚点和包围盒，用于确定感兴趣结构对应的图像子块；所述图画模型中，感兴趣结构以三元组s_i＝(x_i,z_i,l_i)表示，其中x_i表示结构锚点，z_i表示结构的包围盒的大小，l_i为结构的类别；并采用分层图画模型表示不同感兴趣结构之间的空间关系，所述分层图画模型包含层内连接和层间连接；定义后验概率为式1：

P(S|V,Ψ)∝P(V|S,Ψ)P(S|Ψ) (式1)

式1中，S表示感兴趣结构；V表示输入锥束CT图像；Ψ表示图画模型参数；

12)对每类结构分别训练表观分类器，通过式2定义结构s_i对应的一元势能函数φ(s_i)；

φ(s_i)＝(1+exp(a_if_i(s_i)+b_i))^-1 (式2)

其中，φ(s_i)为结构s_i对应的一元势能函数；f_i是表观分类器的输出；a_i与b_i是对应第i类结构的预定义参数；

13)将在分层模型上的似然概率P(V|S,Ψ)定义为式3，得到最大似然函数lnP(V|S,Ψ)，用于对输入的锥束CT图像解剖结构的自动检测：

式3中，lnP(V|S,Ψ)为最大似然对数函数；φ(s_i)为结构s_i对应的一元势能函数；由定义关系势能，表示为结构s_i与s_j之间的有符号偏移向量d_ij的正态分布N，其中μ_ij,σ_ij分别为正态分布的均值与方差；E表示分层图结构中的连接边的集合；

步骤2：训练全卷积神经网络，对感兴趣结构进行自动分割与标注；

21)利用深度神经网络构造锥束CT图像与其对应的二值分割图像之间的回归，所述深度神经网络是一个全卷积神经网络，包括去卷积操作层和去池化操作层，将所述去卷积操作层和所述去池化操作层连到由卷积网络所获取的抽象特征图后构成；

22)从所述全卷积神经网络中获取抽象特征图，从抽象特征图中重建对应结构的二值分割图像，实现从三维锥束CT图像中稳定结构所在的局部图像子块估计得到其对应的二值分割图像；所述分割图像与原始的锥束CT图像具有相同的分辨率；

23)采用成对的锥束CT图像与预先定义的分割图像作为训练数据集，训练全卷积神经网络；训练数据集包括预先交互标注的强标注数据和对成对训练数据进行三维空间位置扰动产生的弱标注数据；训练完成后的网络可用于从输入的锥束CT图像通过抽象与重建得到与输入图像相同大小的分割图像；

231)在训练过程中，首先使用强标注数据优化网络参数；

232)随后在训练数据中加入弱标注数据训练网络，以使得网络具有处理结构图像块偏移的能力；

233)定义基于该重建图像和预先定义的分割图像之间的均方差的损失函数如式4，通过最小化式4的损失函数获取最优的网络参数：

其中，表示在训练阶段通过全卷积神经网络重建的分割图像；Λ表示预先定义的分割图像；

步骤3：在线的三维颅面结构自动解析过程，包括：

31)基于训练好的图画模型，从输入的锥束CT图像中获取感兴趣的三维局部解剖结构所在的图像子块；将似然概率最高的位置作为解剖结构的锚点；

32)将每类解剖结构对应的图像子块输入到对应解剖结构的全卷积神经网络中，获得每个解剖结构的自动标注与分割。

针对上述锥束CT图像三维颅面结构的自动解析方法，进一步地，步骤11)所述图画模型建立在颅面部各个感兴趣结构上，所述感兴趣结构包括左右颧弓、前颅底、上颌和下颌。

针对上述锥束CT图像三维颅面结构的自动解析方法，进一步地，步骤12)所述对每类结构分别训练表观分类器，具体将图像子块划分为多个三维单元，并将每个单元中的体素灰度直方图化，再将所有单元的直方图连接作为图像子块的表观特征。

针对上述锥束CT图像三维颅面结构的自动解析方法，进一步地，步骤22)在卷积网络中，经过多层卷积和池化得到不同分辨率图像的特征图，所述特征图可作为原始锥束CT图像的抽象特征；再通过多层的去卷积操作与去池化操作，从锥束CT图像的抽象特征图重建具有原始图像分辨率的二值分割图像。

针对上述锥束CT图像三维颅面结构的自动解析方法，进一步地，所述全卷积神经网络的网络参数包括：全卷积神经网络中卷积核大小；卷积层、池化层、去卷积层、去池化层的数量；每层特征图的数量。

针对上述锥束CT图像三维颅面结构的自动解析方法，进一步地，步骤31)具体通过贪婪搜索算法从输入的锥束CT图像中搜索得到感兴趣的三维局部解剖结构。

与现有技术相比，本发明的有益效果是：

本发明提供一种锥束CT图像三维颅面结构的自动解析方法，基于图画(pictorial)模型和全卷积神经网络，首先利用预先标注的三维颅面图像作为训练样本学习图画模型，用于解剖结构的自动检测与定位，其中利用SVM分类器生成图像表观所对应的一元势能项，由描述近邻结构在三维空间中的相对位置关系的高斯分布定义解剖结构之间的关系势能项；然后利用全卷积神经网络构造解剖结构所在的锥束CT图像与对应的标注图像之间的映射。在测试阶段对输入的三维锥束CT图像，首先利用图画模型检测感兴趣的解剖结构的空间位置，再利用全卷积深度网络估计该结构所在的图像子块的自动标注，实现三维颅面结构的自动解析。

本发明可以实现从输入的锥束CT图像中，对锥束CT图像中感兴趣的三维颅面结构进行自动分割与标注，获得稳定结构的自动解析与分割，可用于口腔正畸临床治疗方案的制定与疗效的评价。

附图说明

图1是本发明提供的锥束CT图像中三维颅面结构自动解析方法的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种锥束CT图像三维颅面结构的自动解析方法，基于图画(pictorial)模型和全卷积神经网络，可以实现从输入的锥束CT图像中，对锥束CT图像中感兴趣的三维颅面结构进行自动分割与标注，获得稳定结构的自动解析与分割。

本发明自动检测并标注锥束CT图像中的颌骨、颧弓、以及前颅底等结构，其中利用图画模型在三维锥束CT图像上检测感兴趣解剖结构并获取该结构所在的三维图像子块。利用全卷积神经网络对该图像子块进行自动分割与标注。图1是本发明提供的锥束CT图像中三维颅面结构自动解析方法的流程框图，主要包括步骤：训练图画模型用于解剖结构的自动检测；训练全卷积神经网络用于体素的自动标注；在线进行三维颅面结构自动解析。

以下实施例为实现了本发明提供的锥束CT图像中三维颅面结构自动解析方法的自动解析系统，系统采用包含1000个交互标注的锥束CT图像作为训练图画模型的训练集，该训练集中的每个锥束CT图像具有标注的颌骨、颧弓和前颅底的包围盒。系统中全卷积神经网络的训练数据来自成对的锥束CT图像与预先定义的分割图像。为了包含上下文信息，局部稳定结构的包围盒略大于实际结构所处的区域。在分割图像中稳定结构包括颧弓、前颅底、下颌被标注为前景，其它部分标为背景。全卷积神经网络的训练集中预先交互标注的数据被称为强标注数据。同时为了克服在线分割时结构图像子块可能出现的偏移，对成对的训练数据进行三维空间中位置的扰动，并将这部分数据作为弱标注数据。锥束CT图像中三维颅面结构的自动解析具体实施如下：

步骤1：训练三维图画模型用于解剖结构的自动检测

11)建立三维分层图画模型，该图画模型描述锥束CT图像中所有感兴趣结构之间的空间相互关系，从该图画模型推出结构锚点以及包围盒，用于确定感兴趣结构对应的图像子块；

利用三维图画模型描述颅面部各结构之间的相对关系。图画模型建立在颅面部各个感兴趣结构上，包括左右颧弓、前颅底、上颌、下颌。图画模型中，感兴趣结构以三元组s_i＝(x_i,z_i,l_i)表示，其中x_i表示结构锚点即三维结构所在的位置，z_i表示对应结构包围盒的大小，l_i对应该结构的类别。在不同感兴趣结构的包围盒之间可能会有明显的重叠，例如上颌与下颌的包围盒重叠，前颅底与颧弓的包围盒甚至完全在上颌的包围盒内部。为了处理结构之间的重叠关系，本发明采用分层图画模型，其中根节点对应颅骨中心，第二层包含上颌与下颌，第三层包含前颅底与左右颧弓。该分层图中不仅包含层内连接，还包含层间的连接。根据贝叶斯法则定义后验概率为式1：

P(S|V,Ψ)∝P(V|S,Ψ)P(S|Ψ) (式1)

式1中，S表示感兴趣结构，V表示输入锥束CT图像，Ψ表示图画模型参数。

12)对每类结构分别训练表观分类器(SVM)，定义结构s_i对应的一元势能函数φ(s_i)；

其中可将图像子块划分为10×10×10的单元，并将每个单元中的体素灰度直方图化，然后将所有单元的直方图连接作为图像子块的表观特征。通过式2定义结构s_i对应的一元势能函数φ(s_i)：

φ(s_i)＝(1+exp(a_if_i(s_i)+b_i))^-1 (式2)

其中，φ(s_i)为结构s_i对应的一元势能函数，f_i是表观分类器的输出，a_i与b_i是对应第i类结构的预定义参数。

13)定义在分层图画模型上的似然概率，得到最大似然函数lnP(V|S,Ψ)，用于对输入的锥束CT图像解剖结构的自动检测；

通过最大化似然函数(式3)获取锥束CT图像中稳定结构所在的图像子块。将在分层模型上的似然概率P(V|S,Ψ)定义为式3：

式3中，lnP(V|S,Ψ)为最大似然对数函数；φ(s_i)为结构s_i对应的一元势能函数；由定义关系势能，表示为结构s_i与s_j之间的有符号偏移向量d_ij的正态分布N，其中μ_ij,σ_ij分别为正态分布的均值与方差；E表示分层图结构中的连接边的集合。通过最大似然函数lnP(V|S,Ψ)，可实现基于图画模型对输入的锥束CT图像解剖结构的自动检测，获取所感兴趣结构的图像子块；

步骤2：训练全卷积神经网络进行感兴趣结构的自动分割与标注；

21)利用深度神经网络构造锥束CT图像与其对应的二值分割图像之间的回归，该深度神经网络是一个全卷积神经网络；

经过多层卷积以及池化得到不同分辨率图像的特征图。本发明不同于传统的卷积网络，其引入去卷积操作层与去池化操作层，并将这两种操作层连到由一般的卷积网络所获取的抽象特征图后，构成一个全卷积神经网络。

22)在上述全卷积神经网络中获取三维锥束CT图像中稳定结构所在的图像子块的抽象特征图，并从抽象特征图中重建对应结构的二值分割图像，实现从三维锥束CT图像中稳定结构所在的图像子块估计其对应的二值分割图像；

多层的去卷积与去池化操作的目的是从卷积神经网络中所获取的抽象特征图中重建对应结构的二值分割图像，实现从三维锥束CT图像中稳定结构所在的局部图像子块估计其对应的二值分割图像，并要求该分割图像与原始的锥束CT图像具有相同的分辨率，实现端到端的结构分割与解析。在卷积网络中，经过多层卷积以及池化得到的不同分辨率图像的特征图，该特征图可看作是原始锥束CT图像的抽象特征，其中低层的特征图具有图像局部细节特征，而高层的特征图通常可以反映形状的全局信息。网络结构的后半部分中的去卷积与去池化操作从锥束CT图像的抽象特征图重建具有原始图像分辨率的二值分割图像。和卷积网络类似，多层去卷积与去池化操作可看作是从低分辨率的分割预测逐步获取高分辨率的分割图像，其中低层包含全局分割的特征图，而高层逐步包含结构分割的细节。

23)采用成对的锥束CT图像与预先定义的分割图像作为训练数据集，训练全卷积神经网络；训练数据集包括强标注数据和弱标注数据；

系统中全卷积神经网络的训练数据来自成对的锥束CT图像与预先标注、分割的分割图像。为了包含上下文信息，局部稳定结构的包围盒略大于实际结构所处的区域。在分割图像中稳定结构包括颧弓、前颅底、下颌被标注为前景，其它部分标为背景。训练集中预先交互标注的数据被称为强标注数据。同时为了克服在线分割时结构图像子块可能出现的偏移，对成对的训练数据进行三维空间中位置的扰动，并将这部分数据作为弱标注数据。

231)在训练过程中，首先使用强标注数据优化网络参数；

网络参数包括：全卷积神经网络中卷积核大小；卷积层、池化层、去卷积层、去池化层的数量、每层特征图的数量；

232)随后在训练数据中加入弱标注数据训练网络，以使得网络具有处理结构图像块偏移的能力。

训练完成后的网络可用于从输入的锥束CT图像通过抽象与重建得到与输入图像相同大小的分割图像。

233)定义基于该重建图像和预先定义的分割图像之间的均方差的损失函数如式4：

其中，表示在训练阶段通过全卷积神经网络重建的分割图像，Λ表示预先定义的分割图像。通过最小化式4的损失函数获取最优的网络参数。

步骤3：在线的三维颅面结构自动解析过程

31)基于训练好的图画模型，从输入的锥束CT图像中获取感兴趣的三维局部解剖结构所在的图像子块；将似然概率最高的位置作为解剖结构的锚点；

在线自动解析过程利用了贪婪搜索算法，在锥束CT图像中搜索感兴趣结构；首先每个结构的初始位置由图画模型中与根节点的相对位置的高斯分布均值确定。对于所有感兴趣解剖结构估计似然概率，并将似然概率最高的位置作为结构的锚点。

32)将每类解剖结构对应的图像子块输入到对应解剖结构的全卷积神经网络中，获得每个解剖结构的自动标注与分割。

为了验证基于图画模型与全卷积网络的三维颅面结构的自动解析，计算了实施例中各解剖结构的自动标注与手工标注之间的Dice相似度，其中在上颌、前颅底、颧弓、下颌的相似度可以分别达到87％、76％、96％、92％。

利用本发明的方法，可由输入的锥束CT图像获得解剖结构自动解析与分割，该方法基于图画模型进行解剖结构的自动检测并确定感兴趣结构所在的图像子块，随后从全卷积网络估计与原始图像相同分辨率的分割图。其中图画模型构造了多类结构之间的相对关系，并利用层内与层间的连接描述不同结构的图像子块之间的相对关系。在全卷积网络中多层卷积与池化所获取的锥束CT图像的特征图被用于重建该结构对应的分割图，其中去卷积与去池化操作从抽象的特征图中重建该结构稠密的分割图。该系统实现了锥束CT图像中颅面结构的自动标注与分割。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种锥束CT图像三维颅面结构的自动解析方法，基于图画模型和全卷积神经网络，对锥束CT图像中感兴趣结构进行自动分割与标注，从而获得稳定结构的自动解析与分割；包括以下步骤：

步骤1：训练图画模型用于解剖结构的自动检测：

11)建立三维分层图画模型，所述图画模型描述锥束CT图像中所有感兴趣结构之间的空间相互关系，从所述图画模型推出结构锚点和包围盒，用于确定感兴趣结构对应的图像子块；所述图画模型中，感兴趣结构以三元组s_i＝(x_i,z_i,l_i)表示，其中x_i表示结构锚点，z_i表示结构的包围盒的大小，l_i为结构的类别；并采用分层图画模型表示不同感兴趣结构之间的空间关系，所述分层图画模型包含层内连接和层间连接；定义后验概率为式1：

P(S|V,Ψ)∝P(V|S,Ψ)P(S|Ψ) (式1)

式1中，S表示感兴趣结构；V表示输入锥束CT图像；Ψ表示图画模型参数；

12)对每类结构分别训练表观分类器，通过式2定义结构s_i对应的一元势能函数φ(s_i)；

φ(s_i)＝(1+exp(a_if_i(s_i)+b_i))^-1 (式2)

其中，φ(s_i)为结构s_i对应的一元势能函数；f_i是表观分类器的输出；a_i与b_i是对应第i类结构的预定义参数；

13)将在分层模型上的似然概率P(V|S,Ψ)定义为式3，得到最大似然函数lnP(V|S,Ψ)，用于对输入的锥束CT图像解剖结构的自动检测：

式3中，lnP(V|S,Ψ)为最大似然对数函数；φ(s_i)为结构s_i对应的一元势能函数；由定义关系势能，表示为结构s_i与s_j之间的有符号偏移向量d_ij的正态分布N，其中μ_ij,σ_ij分别为正态分布的均值与方差；E表示分层图结构中的连接边的集合；

步骤2：训练全卷积神经网络，对感兴趣结构进行自动分割与标注；

21)利用深度神经网络构造锥束CT图像与其对应的二值分割图像之间的回归，所述深度神经网络是一个全卷积神经网络，包括去卷积操作层和去池化操作层，将所述去卷积操作层和所述去池化操作层连到由卷积网络所获取的抽象特征图后构成；

22)从所述全卷积神经网络中获取抽象特征图，从抽象特征图中重建对应结构的二值分割图像，实现从三维锥束CT图像中稳定结构所在的局部图像子块估计得到其对应的二值分割图像；所述分割图像与原始的锥束CT图像具有相同的分辨率；

23)采用成对的锥束CT图像与预先定义的分割图像作为训练数据集，训练全卷积神经网络；训练数据集包括预先交互标注的强标注数据和对成对训练数据进行三维空间位置扰动产生的弱标注数据；训练完成后的网络可用于从输入的锥束CT图像通过抽象与重建得到与输入图像相同大小的分割图像；

231)在训练过程中，首先使用强标注数据优化网络参数；

232)随后在训练数据中加入弱标注数据训练网络，以使得网络具有处理结构图像块偏移的能力；

233)定义基于该重建图像和预先定义的分割图像之间的均方差的损失函数如式4，通过最小化式4的损失函数获取最优的网络参数：

其中，表示在训练阶段通过全卷积神经网络重建的分割图像；Λ表示预先定义的分割图像；

步骤3：在线的三维颅面结构自动解析过程，包括：

31)基于训练好的图画模型，从输入的锥束CT图像中获取感兴趣的三维局部解剖结构所在的图像子块；将似然概率最高的位置作为解剖结构的锚点；

32)将每类解剖结构对应的图像子块输入到对应解剖结构的全卷积神经网络中，获得每个解剖结构的自动标注与分割。

2.如权利要求1所述自动解析方法，其特征是，步骤11)所述图画模型建立在颅面部各个感兴趣结构上，所述感兴趣结构包括左右颧弓、前颅底、上颌和下颌。

3.如权利要求1所述自动解析方法，其特征是，步骤12)所述对每类结构分别训练表观分类器，具体将图像子块划分为多个三维单元，并将每个单元中的体素灰度直方图化，再将所有单元的直方图连接作为图像子块的表观特征。

4.如权利要求1所述自动解析方法，其特征是，步骤22)在卷积网络中，经过多层卷积和池化得到不同分辨率图像的特征图，所述特征图可作为原始锥束CT图像的抽象特征；再通过多层的去卷积操作与去池化操作，从锥束CT图像的抽象特征图重建具有原始图像分辨率的二值分割图像。

5.如权利要求1所述自动解析方法，其特征是，所述全卷积神经网络的网络参数包括：全卷积神经网络中卷积核大小；卷积层、池化层、去卷积层、去池化层的数量；每层特征图的数量。

6.如权利要求1所述自动解析方法，其特征是，步骤31)具体通过贪婪搜索算法从输入的锥束CT图像中搜索得到感兴趣的三维局部解剖结构。