CN112669282A - 一种基于深度神经网络的脊柱定位方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的脊柱定位方法，属于计算机视觉跟踪技术领域，包括以下步骤：A、采用传统特征提取模块提取传统通用特征；B、采用医学特征提取模块提取专门的医学影像特征；C、采用定位模块对传统特征提取模块和医学特征提取模块提取的特征进行处理，得到锥体与椎间盘的具体位置；D、将上述模块组成系统，采用多任务损失分别对定位网络Ｉ和定位网络Ⅱ进行单独训练，且两个网络训练采用的定位标签以及医学影像图片相同。本发明融合了传统深度网络可使用预训练模型的特点以及医学影像特征提取网络的少样本学习的特点，并引入新的损失函数以及相应的标签制作方法，并使用多任务损失，从而提升了脊柱定位的精度以及鲁棒性。

Description

一种基于深度神经网络的脊柱定位方法

技术领域

本发明涉及一种基于深度神经网络的脊柱定位方法，属于计算机视觉跟踪技术领域。

背景技术

随着人工智算法与计算机硬件技术的快速发展，计算机对图像信息的处理能力与理解能力得到进一步的提升。其中医学影像检测作为近几年新兴的领域，尤其在2020年初受到新冠病毒的影响，基于深度学习的医学影像检测便得到了更多的关注。而医学影像检测作为计算机视觉领域具有挑战性的工作，既是热点也是难点问题。现阶段，随着计算机在算法与硬件设施方面的不断更新，性能不断的提升，通过对医学影像的检测，做出相应组织的定位，也显得越来越重要。

脊柱作为人体的中轴骨骼，是承担人体活动的重要结构，其主要功能便是保护人体的脊髓、承受重量。随着人们的生活节奏的加快，一些脊柱类的疾病开始显现，最常见的就是脊柱退化性疾病，如腰椎间盘突出。而且最近几年呈现出年轻化的趋势，不仅困扰着办公族和老年人群体，也开始困扰着年轻人，正确的预防和干预能够有效防止此类疾病的进一步的发展甚至恶化。而核磁(MRI)作为一种非侵入式检查手段，对软组织的成像好，且无辐射，对肌肉骨骼疾病的特异性和敏感度较高，适合对普通人群的常规检查，是预防脊柱退化性疾病的可靠检查手段。同时临床上，对脊柱退化性疾病的诊断的一致性有待提高，人工智能算法在临床流程中可以帮助提高诊断的一致性和可量化性，对量化评估针针对脊柱退化性疾病的干预效果，具有着很高的价值。

而目前，基于深度学习的脊柱定位相关方法相关研究较少，主要集中在使用多传感器融合的定位技术。通过查阅资料我们找到一个关于脊柱定位的技术，即通过光学扫描自动化轮廓分割匹配的方法，其引入了多传感器融合的技术。除此之外，主要还是通过人眼观察核磁影像图像的方法。相对来说其要么成本较高，要么技术落后。而基于深度学习的方法很少出现在医学影像领域，其主要原因在于，基于深度学习的方法需要大量样本，而医学影像检测领域的可供训练的样本数目过少，这就使得网络难以训练。另一方面目前基于深度学习的医学影像相关算法主要集中在图像分割领域，其通过图像分割，分割出组织所在位置，然后再通过肉眼判断组织的疾病，这种方法适合分析如肿瘤等相对集中的组织，而对于锥体和椎间盘等这种既分散又紧密相连的组织，难以得到好的分割结果，甚至可能将其中一块锥体和椎间盘组合到一起，使得肉眼难以分辨。因此我们通过直接定位锥体和椎间盘的质心，从而确定每块锥体和椎间盘所在的位置，从而对后序的医学诊断，给与极大的帮助。

发明内容

本发明的目的是提供一种基于深度神经网络的脊柱定位方法，使用传统的医学影像特征提取网络和与传统深度神经网络相结合的算法来提取核磁影像特征，并将二者的定位结果进行融合。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度神经网络的脊柱定位方法，包括以下步骤：

A、采用传统特征提取模块提取传统通用特征，所述传统特征提取模块包括深度卷积神经网络和深度反卷积网络；

B、采用医学特征提取模块提取专门的医学影像特征，所述医学特征提取模块包括经修改的UNet网络；

C、采用定位模块对传统特征提取模块和医学特征提取模块提取出的特征进行处理，得到锥体与椎间盘的具体位置，所述定位模块包括锥体定位网络、锥间盘定位网络和定位融合部分；

D、将所述传统特征提取模块、医学特征提取模块和定位模块组成系统，采用多任务损失分别对定位网络I和定位网络Ⅱ进行单独训练，且训练过程两个网络采用的定位标签以及医学影像图片相同；所述定位网络I包括传统特征提取模块、锥体定位网络和锥间盘定位网络，定位网络Ⅱ包括医学特征提取模块、锥体定位网络和锥间盘定位网络。

本发明技术方案的进一步改进在于：所述深度卷积神经网络为ResNet101网络，深度反卷积网络为3层4×4的深度反卷积网络。

本发明技术方案的进一步改进在于：采用定位模块中的定位融合部分对定位网络I和定位网络Ⅱ生成的结果进行融合，融合公式如下：

H_disc＝H_Rdisc*λ+H_Udisc*(1-λ) (1)

H_vert＝H_Rvert*λ+H_Uvert*(1-λ) (2)

其中H_Rdisc与H_Udisc分别表示传统通用特征与医学影像特征经锥体定位网络得到的定位heatmap图，H_disc为融合后的锥体定位的heatmap图，H_Rvert与H_Uvert表示传统通用特征与医学影像特征经锥间盘定位网络得到的定位heatmap图，H_vert为融合后的椎间盘定位的heatmap图。

本发明技术方案的进一步改进在于：对定位网络I采用损失函数进行单独训练，对应的损失函数如下：

其中H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Rd为传统特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap，同理H_Rv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，是一个超参数，w为所述的定位网络的权重；

对定位网络Ⅱ采用损失函数进行单独训练，所述损失函数如下：

其中，H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Ud为医学特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap，同理H_Uv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，w₁为前此定位网络的权重。

本发明技术方案的进一步改进在于：所述步骤D训练采用的定位标签为：

其中，u为特征图H上任意一点的坐标，c为定位点的实际坐标，Δ为超参数，用于防止分母项为零。

由于采用了上述技术方案，本发明取得的技术效果有：

本发明融合了传统深度网络可使用预训练模型的特点以及医学影像特征提取网络的少样本学习的特点，并引入新的损失函数以及相应的标签制作方法，同时使用多任务损失，从而提升了脊柱定位的精度以及鲁棒性。

与目前基于多传感器融合定位的技术，以及人眼观察的技术相比，本发明技术简单，成本低，精度高。

附图说明

图1是本发明的流程图；

图2是本发明不同的核磁影像下得到的定位结果图；

图3是本发明对锥体和椎间盘定位得到的heatmap图像进行可视化的结果。

具体实施方式

下面结合附图及具体实施例对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于深度神经网络的脊柱定位方法，具体流程如下：

1、将获取的脊柱核磁影像，传入传统特征提取模块与医学特征提取模块，从而提取相应的传统通用特征与医学影像特征。

2、得到提取的传统通用特征与医学影像特征后，分别传入定位模块，从而得到锥体与椎间盘的实际坐标位置。

一种基于深度神经网络的脊柱定位方法，如图1所示，包括以下模块：

传统特征提取模块，用于提取传统通用特征。

医学特征提取模块，用于提取专门的医学影像特征。

定位模块，对上述两个模块提取出的特征做进一步的处理，从而得到锥体与椎间盘的具体位置。

所述传统特征提取模块，主要考虑到可获取的医学影像样本较少，因此为了保证模型的精度，考虑尽量使用预训练模型，故传统特征提取模块主要包含以下部分：

深度卷积神经网路，优选ResNet101网络，采用下采样率为8的传统检测或分类的特征提取的网络，将脊柱核磁影像图片信息映射成256维，宽高分别为输入图像宽高的1/8的特征向量，用此特征向量来稀疏表示脊柱的传统图像信息。

深度反卷积网路，采用上采样率为8的反卷积操作，具体利用3层的深度反卷积网络，反卷积核大小为4×4，将提取出的脊柱的传统图像信息，映射到与输入的脊柱核磁影像图片相同大小，维度为256的像素级别的脊柱的传统图像信息。

所述医学特征提取模块，主要考虑模型的任务是用于医学影像检测，且属于少样本学习的网络，故引入医学特征提取模块，其中医学特征提取模块包含以下部分：

医学特征提取模块，其将UNet网络进行了修改，为了与传统特征提取模块的输出特征对齐，故将UNet网络的输出通道数调整为256，因此，该模块不能使用预训练模型。由于其输出的特征图宽高与输入图像宽高相同，用此用此特征向量来稀疏表示脊柱的医学特征信息。

所述定位模块，包含以下部分：

锥体定位网络，采用3层1×1的卷积网络，其中前两层网络输出维度都为256维，最后一层卷积输出通道数为6维，从而将传统特征提取模块与医学影像特征提取模块得到的特征，生成用于脊柱定位的heatmap图，其中heatmap根据锥体间的位置关系进行排布。

锥间盘定位网络，采用3层1×1的卷积网络，其中前两层网络输出维度都为256维，最后一层卷积输出通道数为5维，从而将传统特征提取模块与医学影像特征提取模块得到的特征，生成用于椎间盘定位的heatmap图，其中heatmap根据锥间盘间的位置关系进行排布。

定位融合部分，传统特征提取模块与医学特征提取模块得到的特征分别经脊柱定位网络，分别得到6张特征图。然后，相应位置的特征图做加权求和从而生6个用于椎体定位的heatmap图。椎间盘定位的部分依然采取相同的操作，从而生成5个用于椎间盘定位的heatmap图，详细公式计算如下。

H_disc＝H_Rdisc*λ+H_Udisc*(1-λ) (1)

H_vert＝H_Rvert*λ+H_Uvert*(1-λ) (2)

其中H_Rdisc与H_Udisc分别表示传统特征与医学特征经锥体定位网络得到的定位heatmap图。H_disc为融合后的锥体定位的heatmap图。H_Rvert与H_Uvert表示传统特征与医学特征经锥间盘定位网络得到的定位heatmap图。H_vert为融合后的椎间盘定位的heatmap图。

在得到定位的heatmap图后，便可根据最大置信度所在的位置得到锥体和椎间盘的定位结果。

所述传统特征提取模块、定位模块中的锥体定位网络和锥间盘定位网络组成定位网络I，医学特征提取模块、定位模块中的锥体定位网络和锥间盘定位网络组成定位网络Ⅱ，采用多任务损失，分别进行训练。

对定位网络I采用损失函数进行单独训练，对应的损失函数如下：

其中H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Rd为传统特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap,，同理H_Rv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，是一个超参数，w为所述的定位网络的权重；

对定位网络Ⅱ采用损失函数进行单独训练，所述损失函数如下：

其中，H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Ud为医学特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap，同理H_Uv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，w₁为前此定位网络的权重。

对定位网络I和定位网络Ⅱ进行单独训练采用的定位标签的详细公式为：

其中u为特征图H上任意一点的坐标，c为定位点的实际坐标，Δ为超参数，为了使得精度满足实际需求，我们将与定位点的实际坐标小于6个像素的位置设置标签，其余位置全部设置为0。

图2、3是本发明实施得到的定位结果图。图2为不同的核磁影像下得到的定位结果。图像中采用点对锥体和椎间盘的结果进行展示。其中，标注点中颜色较深的部分为椎间盘，共6个定位点，浅色区域为椎体，共5个定位点。从图中可看出对锥体和椎间盘的定位具有较高的精度。图3则对锥体和椎间盘定位的heatmap图像进行可视化，从可视化的结果发现，本发明提出的方法在定位上具有较高的精确度。

Claims (5)

1.一种基于深度神经网络的脊柱定位方法，其特征在于：包括以下步骤：

A、采用传统特征提取模块提取传统通用特征，所述传统特征提取模块包括深度卷积神经网络和深度反卷积网络；

B、采用医学特征提取模块提取专门的医学影像特征，所述医学特征提取模块包括经修改的UNet网络；

C、采用定位模块对传统特征提取模块和医学特征提取模块提取出的特征进行处理，得到锥体与椎间盘的具体位置，所述定位模块包括锥体定位网络、锥间盘定位网络和定位融合部分；

D、将所述传统特征提取模块、医学特征提取模块和定位模块组成系统，采用多任务损失分别对定位网络I和定位网络Ⅱ进行单独训练，且训练过程两个网络采用的定位标签以及医学影像图片相同；所述定位网络I包括传统特征提取模块、锥体定位网络和锥间盘定位网络，定位网络Ⅱ包括医学特征提取模块、锥体定位网络和锥间盘定位网络。

2.根据权利要求1所述的一种基于深度神经网络的脊柱定位方法，其特征在于：所述深度卷积神经网络为ResNet101网络，深度反卷积网络为3层4×4的深度反卷积网络。

3.根据权利要求1所述的一种基于深度神经网络的脊柱定位方法，其特征在于：采用定位模块中的定位融合部分对定位网络I和定位网络Ⅱ生成的结果进行融合，融合公式如下：

H_disc＝H_Rdisc*λ+H_Udisc*(1-λ) (1)

H_vert＝H_Rvert*λ+H_Uvert*(1-λ) (2)

其中H_Rdisc与H_Udisc分别表示传统通用特征与医学影像特征经锥体定位网络得到的定位heatmap图，H_disc为融合后的锥体定位的heatmap图，H_Rvert与H_Uvert表示传统通用特征与医学影像特征经锥间盘定位网络得到的定位heatmap图，H_vert为融合后的椎间盘定位的heatmap图。

4.根据权利要求1所述的一种基于深度神经网络的脊柱定位方法，其特征在于：对定位网络I采用损失函数进行单独训练，对应的损失函数如下：

其中H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Rd为传统特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap，同理H_Rv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，是一个超参数，w为所述的定位网络的权重；

对定位网络Ⅱ采用损失函数进行单独训练，所述损失函数如下：

其中，H_D为椎间盘定位的标签，H_V为锥体定位标签，H_Ud为医学特征提取模块结合椎间盘定位网络估计出的椎间盘定位生成的heatmap，同理H_Uv为传统特征提取模块结合椎体定位网络估计锥体定位生成的heatmap，α为岭回归系数，w₁为前此定位网络的权重。

5.根据权利要求1所述的一种基于深度神经网络的脊柱定位方法，其特征在于：所述步骤D训练采用的定位标签为：

其中，u为特征图H上任意一点的坐标，c为定位点的实际坐标，Δ为超参数，用于防止分母项为零。

Images