CN112581513B - 锥束计算机断层扫描图像特征提取与对应方法 - Google Patents

Abstract

本发明公布了一种锥束计算机断层扫描图像特征提取与对应方法，包括：计算得到锥束CT图像的超体素分解与谱空间正交基函数；2)建立体图像对应任务导向的深度神经网络并进行预训练，得到体图像对应任务导向的深度神经网络参数；训练体图像对应任务导向的深度神经网络；利用训练好的体图像对应任务导向的深度神经网络，对待处理的锥束CT图像实现特征提取与对应。采用本发明提供的技术方案，可以快速建立三维锥束计算机断层扫描图像对应与配准，进一步地，可进行计算机辅助的术中干预与在线的特征点定位与分割标签迁移。

Description

锥束计算机断层扫描图像特征提取与对应方法

技术领域

本发明涉及口腔临床医学图像处理和计算机视觉技术领域，具体涉及一种锥束计算机断层扫描图像特征提取与对应方法。

背景技术

锥束计算机断层扫描(锥束CT)图像被应用于众多临床领域，在正畸外科中应用尤其广泛。锥束CT图像的稠密对应是统计形状分析与衡量由于生长发育或临床治疗所带来的组织结构变形的关键技术。锥束CT图像对应算法是属性迁移和标签迁移等应用的基础。近些年出现了很多被应用于体图像对应的手工设计的特征，包括灰度分布直方图、方向梯度特征、基于自身相似度的特征、尺度不变特征以及具有模态不变性的上下文特征。然而，以上基于灰度直方图或梯度的算法通常会耗费大量的计算资源。

特定与对应任务的图像特征可以有效提高对应精度。采用有监督的分类和回归随机森林的方法对特征进行特定于对应任务的选择，经过筛选的特征可被应用于对应计算中。但是，该方法需要后处理以得到平滑的图像对应。相比较于上述直接在空域中计算图像对应的方法，谱方法在频域中求解低维谱函数对应，并从谱函数对应中恢复出空域中的图像对应，有监督的深度谱神经网络已经被用来求解二维流形之间的对应。然而，上述方法均依赖于手工设计的图像特征，而手工设计的图像特征通常并不特定于图像对应任务的求解。同时，上述方法均为有监督方法，需要提前进行数据标注，而人工数据标注不仅费时费力并且存在主观误差。可见，现有技术缺乏采用无监督方法，且能够有效提取特定于对应任务的锥束CT图像特征，同时计算锥束CT图像对应的图像特征提取与对应方法。

发明内容

为了克服上述现有技术的不足，本发明提供一种锥束计算机断层扫描图像特征提取与对应方法，通过建立对应任务导向的深度神经网络，能够有效提取特定于对应任务的锥束CT图像特征同时计算锥束CT图像对应，并进行无监督地端到端训练。

本发明的核心是：本发明提出对应任务导向的锥束CT图像特征提取方法。针对体图像对应任务，本发明提出可以端到端训练的基于深度卷积神经网络的体图像特征学习算法，提取适合体图像对应任务的体图像特征。在深度神经网络的训练过程中，该网络接受一对体图像作为输入，输出该对体图像的特征，将输出特征映射到谱空间中计算图像之间的对应关系，并对网络参数进行优化，进行端到端的训练。本发明在频域计算体图像之间的对应关系，将网络输出的体图像特征投影在谱空间，通过计算谱空间中的低维基函数系数之间的对应，可恢复两个体图像在空域中的对应关系。通过无监督地学习适用于体图像对应任务的描述子，并约束该描述子满足体图像对应的可逆性，该网络的参数得到无监督优化。根据体图像之间的对应关系，可进行进一步的图像特征迁移，如特征点迁移及分割图迁移。在线测试阶段，本发明提出的对应任务导向的深度神经网络可以进行有效的体图像特征提取，同时该特征可以高效地计算体图像之间的对应。任务导向的体图像特征提取方法使得在谱空间中对应精度得到改善。该网络的训练过程不需要先验的标注信息，可以无监督方式优化网络参数。

本发明中的参数定义如下：

V_i和V_j：锥束CT图像；

N_i和N_j：V_i和V_j的超体素个数；

M_i和M_j：V_i和V_j的图拉普拉斯矩阵；

k(k＜＜N_i,k＜＜N_j)：谱空间维度、谱空间正交基函数个数；

Φ_i和Φ_j：谱空间正交基函数；

q：网络输出的超体素特征维数；

D_i和D_j:网络输出的V_i和V_j的超体素特征；

F_i和

D_i和D_j的谱空间正交基函数系数；

C：F_i和F_j的对应关系；

C^*：最优的C；

Ψ_i：V_i的图拉普拉斯矩阵的低秩近似；

Ψ_j：V_j的图拉普拉斯矩阵的低秩近似；

P_ij：锥束CT图像V_i到V_j的对应的置换矩阵；

P_ji：锥束CT图像V_j到V_i的对应的置换矩阵；

对应任务导向的深度神经网络的损失函数；

H_i和H_j：V_i和V_j的探针函数；

γ₁和γ₂：损失函数中的权重系数；

本发明提供的锥束计算机断层扫描图像特征提取与对应方法包括如下步骤：

1)计算得到锥束CT图像的超体素分解与谱空间正交基函数；执行如下操作：

11)对锥束CT图像进行超体素分解；

21)计算锥束CT图像的谱空间正交基函数；

2)建立体图像对应任务导向的深度神经网络并进行预训练，得到体图像对应任务导向的

深度神经网络参数；

体图像对应任务导向的深度神经网络的输入为一对锥束CT图像，输出为该对锥束CT图像各自的超体素特征。该网络基于具有长连接的3D U-net网络(三维U形卷积网络)搭建，编码器和解码器分别有六层包含3×3×3卷积核的卷积层。在编码器部分，每个卷积层后使用了归一化操作和Leaky ReLU激活函数。在解码器部分，使用反卷积操作提高每一层的分辨率。解码器包含七层不同分辨率的特征函数，分辨率分别为2³、4³、8³、16³、32³、64³、128³，各自包含512、512、512、256、128、64、8维特征函数。网络输出的锥束CT图像特征由以上各维特征函数组成，可包含全部的1992维特征函数，或根据实际需求选取其中一部分特征函数，组成锥束CT图像的超体素特征。

3)将步骤2)得到的参数为初始值，训练体图像对应任务导向的深度神经网络；执行如下操作：

31)采用谱方法计算锥束CT图像超体素之间对应关系；

利用对应任务导向的深度神经网络输出的锥束CT图像特征，在频域内计算一对锥束CT图像之间超体素的对应关系。采用谱方法计算锥束CT图像超体素之间对应关系，避免了直接计算超体素之间的对应关系，而是通过计算谱空间中基函数系数之间的低维对应关系，进而恢复超体素之间的对应关系，降低了问题规模，加快了算法的计算速度。

32)利用步骤31)中得到的锥束CT图像超体素之间的对应关系计算体图像对应任务导

向的深度神经网络的损失函数，并优化网络参数；

4)利用训练好的体图像对应任务导向的深度神经网络，进行体图像对应任务导向的深度神经网络的在线测试，对待处理的锥束CT图像实现特征提取与对应。

41)计算锥束CT图像的超体素分解与谱空间正交基函数；

42)将锥束CT图像输入训练好的体图像对应任务导向的深度神经网络，得到锥束CT图像特征，通过步骤31)中的方法得到锥束CT图像超体素之间的对应关系。

本发明的有益效果是：

利用本发明提供的锥束计算机断层扫描图像特征提取与对应方法，建立对应任务导向的深度神经网络，能够有效提取特定于对应任务的锥束CT图像特征同时计算锥束CT图像对应，并进行无监督地端到端训练。采用本发明提供的技术方案，可以快速建立三维锥束计算机断层扫描图像对应与配准，进一步地，可进行计算机辅助的术中干预与在线的特征点定位与分割标签迁移。

附图说明

图1是本发明方法的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明建立体图像对应任务导向的深度神经网络，有效提取锥束CT图像的特征，并计算超体素的稠密对应与图像配准，根据体图像之间的稠密对应关系，可进行进一步的图像特征迁移，获取自动的图像属性迁移，如特征点迁移及分割图迁移。

以下参照附图通过实施例对本发明做进一步说明，本实施例中使用的是人头部的锥束CT图像，大小为128³，体素的实际尺寸为1.5³mm³。如图1所示的流程，锥束计算机断层扫描图像特征提取与对应方法的具体实施步骤如下：

步骤一：对于锥束CT图像，计算得到锥束CT图像的超体素分解与谱空间正交基函数

11)对于锥束CT图像V_i和V_j，利用SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)算法进行超体素分解，分别得到N_i和N_j个超体素，对于大小为128³的图像，可将其分解为15000个超体素。

12)计算锥束CT图像V_i和V_j的图拉普拉斯矩阵M_i和M_j，对M_i和M_j进行特征值分解，分别取前k(k＜＜N_i,k＜＜N_j)个特征向量作为V_i和V_j的谱空间正交基函数Φ_i和Φ_j。谱空间正交基函数Φ_i和Φ_j作为谱空间的基本单元，为体图像上的其它函数，如探针函数建立对应关系提供基础。步骤二：建立对应任务导向的深度神经网络并进行预训练

21)建立对应任务导向的深度神经网络

对应任务导向的深度神经网络接受一对锥束CT图像作为输入，输出该对锥束CT图像各自的超体素特征。该网络基于具有长连接的3D U-net网络(三维U形卷积网络)搭建，编码器和解码器各自有六层包含3×3×3卷积核的卷积层。在编码器部分，每个卷积层后使用了归一化操作和Leaky ReLU激活函数。在解码器部分，使用反卷积操作提高每一层的分辨率。解码器包含七层不同分辨率的特征函数，分辨率分别为2³、4³、8³、16³、32³、64³、128³，各自包含512、512、512、256、128、64、8维特征函数。网络输出的锥束CT图像特征由以上各维特征函数组成，可包含全部的1992维特征函数，或根据实际需求选取其中一部分特征函数，组成锥束CT图像的超体素特征。

22)进行预训练

在预训练阶段，该网络进行基于卷积自编码器的表达学习/训练，使得该网络恢复输入的体图像，通过学习得到网络参数，网络参数将被用作下一阶段(训练阶段)的初值。

步骤三：对应任务导向的深度神经网络的训练

31)本发明利用对应任务导向的深度神经网络输出的锥束CT图像特征，在频域内计算一对锥束CT图像之间超体素的对应关系。采用谱方法计算锥束CT图像超体素之间对应关系的具体过程如下：

锥束CT图像V_i和V_j经过对应任务导向的深度神经网络，得到q维超体素特征D_i和D_j，将D_i和D_j投影到谱空间正交基函数Φ_i和Φ_j上，可以得到超体素特征的谱空间正交基函数系数F_i和

F_i和F_j是D_i和D_j的谱空间表达，如前文定义，k表示谱空间维度，q表示超体素特征维度。通过求解如下式(1)所示的最小二乘问题，可得到F_i和F_j之间的对应关系。

其中，C^*表示能使该式取得最小值的C，而C表示F_i和F_j的对应关系，Ψ_i和Ψ_j是V_i和V_j的图拉普拉斯矩阵的低秩近似，被包含在V_i和V_j的谱空间正交基函数中。本式中使用F范数，α为权重常数，可设为1。

上式的第二项保证了C满足V_i和V_j的可交换性。根据F_i和F_j的对应关系C可恢复V_i和V_j的超体素之间的对应关系(表示形式为置换矩阵)，表示为式(2)：

其中，P_ij为V_i到V_j的对应的置换矩阵，

为伪逆运算。

以上计算锥束CT图像超体素之间对应关系的谱方法避免了直接计算超体素之间的对应关系，而是通过计算谱空间中基函数系数之间的低维对应关系，进而恢复超体素之间的对应关系，降低了问题规模，加快了算法的计算速度。

32)锥束CT图像的超体素之间的对应关系描述两个锥束CT图像超体素之间存在对应关系的概率，通过计算现有网络得到的超体素对应结果的损失函数，优化网络参数；

本发明利用对应任务导向的深度神经网络得到锥束CT图像的超体素特征，并在频域内通过计算基函数系数的对应关系恢复超体素之间的对应关系，该对应关系描述了两个锥束CT图像超体素之间存在对应关系的概率，此概率可用于对齐锥束CT图像上的探针函数，并计算现有网络得到的超体素对应结果的损失函数，从而优化网络参数，网络的损失函数如下式(3)所示。

式(3)中，

为对应任务导向的深度神经网络的损失函数；对于一对锥束CT图像V_i和V_j，式(3)的损失函数的第一项对齐了锥束CT图像上的探针函数，即

部分。P_ij是锥束CT图像V_i到V_j的超体素的对应的置换矩阵，H_i和H_j分别是锥束CT图像V_i和V_j的探针函数，正确的对应关系应使得具有对应关系的超体素探针函数对齐，也即损失函数的第一项接近于0。锥束CT图像超体素的探针函数包含表观特征和上下文特征。锥束CT图像中的每个超体素共包含720维特征：前120维为超体素的灰度分布直方图；第121维至520维为上下文表观差异特征，通过计算该超体素与采样自包围其周的400个超体素的灰度分布直方图差异得到；第521维至720维为上下文位置差异特征，通过计算该超体素与其它所有超体素的中心位置差异并排序得到。

损失函数的第二项约束了谱空间正交基函数系数对应的正交性，即

部分。由于

谱空间正交基函数系数对应的正交性可以保证超体素对应的正交性。

本发明同时考虑了锥束CT图像对应的可逆性。对于一对锥束CT图像V_i和V_j，要求超体素对应关系具有可逆性。当约束谱空间正交基函数系数的对应满足可逆性，即要求C_ijC_ji＝I时，有

即从锥束CT图像V_i到锥束CT图像V_j的对应与从锥束CT图像V_j到锥束CT图像V_i的对应一致，也即锥束CT图像对应的可逆性。故在损失函数的第一项分别约束了锥束CT图像V_i和V_j的正、逆对应可以正确对齐探针函数，损失函数的第二项分别约束了锥束CT图像V_i和V_j的正、逆对应的正交性，损失函数的第三项则约束了谱空间正交基函数系数对应C的可逆性。

损失函数中的参数γ₁和γ₂用来调整约束V_i和V_j的对应的置换矩阵P_ij和P_ji对于探针函数的对齐精度、约束谱空间正交基函数系数对应C的正交性和约束谱空间正交基函数系数对应C的可逆性之间的权重，在本发明具体实施中，γ₁和γ₂均被设为0.5。

步骤四：对应任务导向的深度神经网络的在线测试，对待处理的一对锥束CT图像实现锥束计算机断层扫描图像特征提取与对应；

41)对待处理的一对锥束CT图像V_i和V_j进行超体素分解，并计算V_i和V_j的谱空间正交基函数Φ_i和Φ_j。

42)将一对锥束CT图像V_i和V_j输入对应任务导向的深度神经网络，配合V_i和V_j的谱空间正交基函数Φ_i和Φ_j，该网络可以输出V_i到V_j上超体素的对应的置换矩阵P_ij，P_ij中第m行最大值的索引位置表示V_i中第m个超体素在V_j中对应超体素的标号。

为了验证对应任务导向的深度神经网络获取锥束CT图像超体素稠密对应的效果，实验测试了基于锥束CT图像之间超体素对应的结构分割标签迁移及特征点迁移，分别测试了上颌骨、下颌骨分割标签的迁移及颅骨上的10个具有解剖结构意义的特征点的迁移，其对应DICE相似度系数及特征点对应精度都在90％以上，具有较好的一致对应。

利用本发明的方法，以完全无监督的方式获取了锥束CT图像之间的超体素稠密对应与图像配准。对应任务导向的深度神经网络可以有效提取出锥束CT图像的特征，并用于求解锥束CT图像的超体素对应。

以上实施方式仅用于说明本发明，而并非对本发明的限制，本领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种锥束计算机断层扫描图像特征提取与对应方法，包括如下步骤：

1)计算得到锥束CT图像的超体素分解与谱空间正交基函数；

2)建立体图像对应任务导向的深度神经网络并进行预训练，得到体图像对应任务导向的深度神经网络参数；

所述体图像对应任务导向的深度神经网络的输入为一对锥束CT图像，输出为该对锥束CT图像各自的超体素特征；

3)将步骤2)得到的参数作为初始值，训练体图像对应任务导向的深度神经网络；

具体执行如下操作：

31)利用对应任务导向的深度神经网络输出的锥束CT图像特征，在频域内采用谱方法计算锥束CT图像超体素之间对应关系；具体过程如下：

锥束CT图像V_i和V_j经过对应任务导向的深度神经网络，得到q维超体素特征D_i和D_j，将D_i和D_j投影到谱空间正交基函数Φ_i和Φ_j上，得到超体素特征的谱空间正交基函数系数F_i和

F_i和F_j是D_i和D_j的谱空间表达，k表示谱空间维度，q表示超体素特征维度；通过式(1)求解得到F_i和F_j之间的对应关系：

其中，C^*表示取得最小值的C，C表示F_i和F_j的对应关系；Ψ_i和Ψ_i是V_i和V_j的图拉普拉斯矩阵的低秩近似；V_i和V_j为谱空间正交基函数；式(1)使用F范数，α为权重常数；项

保证了C满足V_i和V_j的可交换性；

根据C恢复V_i和V_j的超体素之间的对应关系，表示为式(2)：

其中，P_ij为V_i到V_j的对应的置换矩阵，

为伪逆运算；

32)利用步骤31)得到的锥束CT图像超体素之间的对应关系，计算体图像对应任务导向的深度神经网络的损失函数，并优化网络参数，得到训练好的体图像对应任务导向的深度神经网络；

将得到的锥束CT图像超体素之间的对应关系，即两个锥束CT图像超体素之间存在对应关系的概率，用于对齐锥束CT图像上的探针函数，并计算现有网络得到的超体素对应结果的损失函数，从而优化网络参数；网络的损失函数如式(3)所示：

式(3)中，

为对应任务导向的深度神经网络的损失函数；对于一对锥束CT图像V_i和V_j，第一项对齐锥束CT图像上的探针函数，即

部分；P_ij是锥束CT图像V_i到V_j的超体素的置换矩阵，H_i和H_j分别是锥束CT图像V_i和V_j的探针函数；第二项约束谱空间正交基函数系数对应的正交性，即

部分；第三项约束谱空间正交基函数系数对应C的可逆性；γ₁和γ₂为用来调整约束置换矩阵P对于探针函数的对齐精度、约束谱空间正交基函数系数对应C的正交性和约束谱空间正交基函数系数对应C的可逆性之间的权重的参数；

4)利用训练好的体图像对应任务导向的深度神经网络，对待处理的锥束CT图像实现特征提取与对应；

41)计算锥束CT图像的超体素分解与谱空间正交基函数；

42)将锥束CT图像输入训练好的体图像对应任务导向的深度神经网络，得到锥束CT图像特征，通过步骤31)中的方法得到锥束CT图像超体素之间的对应关系。

2.如权利要求1所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，步骤1)对锥束CT图像进行超体素分解和计算锥束CT图像的谱空间正交基函数，具体执行如下操作：

11)对锥束CT图像V_i和V_j，利用单线性迭代聚类算法SLIC进行超体素分解，分别得到N_i和N_j个超体素；

12)计算V_i和V_j的图拉普拉斯矩阵M_i和M_j，对M_i和M_j进行特征值分解，分别取前k个特征向量作为V_i和V_j的谱空间正交基函数Φ_i和Φ_j；其中k＜＜N_i，k＜＜N_j。

3.如权利要求2所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，步骤11)中，利用单线性迭代聚类算法SLIC，对大小为128³的图像进行超体素分解，具体分解为15000个超体素。

4.如权利要求1所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，步骤2)建立体图像对应任务导向的深度神经网络，所述体图像对应任务导向的深度神经网络基于具有长连接的三维U形卷积网络3D U-net搭建；包括的编码器和解码器分别有六层，包含3×3×3卷积核的卷积层。

5.如权利要求4所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，在所述体图像对应任务导向的深度神经网络的编码器部分，每个卷积层后使用归一化操作和激活函数；在解码器部分，使用反卷积操作提高每一层的分辨率。

6.如权利要求4所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，所述体图像对应任务导向的深度神经网络的解码器包含七层不同分辨率的特征函数，网络输出的锥束CT图像特征由各维特征函数组成。

7.如权利要求6所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，所述体图像对应任务导向的深度神经网络的解码器的特征函数的分辨率分别为2³、4³、8³、16³、32³、64³、128³，各自包含512、512、512、256、128、64、8维特征函数。

8.如权利要求1所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，步骤32)中，γ₁和γ₂均取值为0.5。

9.如权利要求1所述锥束计算机断层扫描图像特征提取与对应方法，其特征是，步骤42)具体将一对锥束CT图像V_i和V_j输入训练好的体图像对应任务导向的深度神经网络，根据V_i和V_j的谱空间正交基函数Φ_i和Φ_j；所述深度神经网络输出V_i和V_j上超体素的置换矩阵，所述置换矩阵中第m行最大值的索引位置表示V_i中第m个超体素在V_j中对应超体素的标号。

Images