CN110660480B - 脊骨脱位辅助诊断方法及系统 - Google Patents

Abstract

本发明提供了一种脊骨脱位辅助诊断方法及系统，所述方法包括：粗分割网络训练步骤：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；滑窗提取步骤：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；特征提取步骤：对于输入的医疗影像通过深度神经网络提取高层语义特征；类别激活图生成步骤：利用分类网络中已有的参数生成类别激活图；专家知识引导步骤：利用分割网络得到粗略分割结果定位前后边缘的大致位置，并以此约束神经网络类别激活图中的概率分布。本发明对于脊骨脱位诊断的准确率和可解释性，并且在数据量较小时能保持很好的性能。

Description

脊骨脱位辅助诊断方法及系统

技术领域

本发明涉及计算机辅助诊断领域，具体地，涉及一种脊骨脱位辅助诊断方法及系统，尤其涉及一种基于专家先验知识引导的脊骨脱位计算机辅助诊断方法及系统。

背景技术

计算机辅助诊断时计算机视觉中的一个重要任务，它的目标是对医学影像进行计算分析，模拟医生的诊断过程，给出最终的诊断结果，而脊骨的脱位检测是计算机辅助诊断中的重要部分之一。脊骨脱位是一种严重的疾病，是导致瘫痪的常见因素之一，在脱位早期发现病症对于患者及时接受治疗有着重要作用，现在常用的脱位诊断方法是影像学专家通过检查CT或MRI图像得出结果。随着深度神经网络在医疗图像处理领域逐渐发展，现在较为成熟的计算机诊断技术，基本上都是基于深度学习的方法。然而，现在还没有专门针对脊骨脱位的诊断方法，脊骨脱位的诊断依据通常是相邻两块脊骨是否对齐，边缘是否光滑，通常脱位的脊骨和健康的脊骨差异很小，而颈椎、胸椎、腰椎、尾椎的脊骨本身的形态差异非常大，这就导致脊骨脱位检测具有很明显的细粒度分类特征，即类内差距大于类间差距。现在已有的计算机辅助诊断技术基本上都是基于只基于大量数据训练而没有人为的先验知识，这导致模型往往难以捕捉到脱位这样微弱的特征，而医疗图像数据的稀缺更加剧了这一困难。因此，将医生的专家知识引入网络辅助训练的方法成为大家关注的焦点。在计算机辅助诊断领域，针对细粒度分类的问题，最初的研究工作是基于局部特征和全局特征融合的方法，通过多实例学习、取滑窗、增强学习等方法得到医学影像中每个局部位置的特征图，再结合整张图像的特征图一起输入网络进行分类，此类方法操作繁琐，并且在提取局部特征时不同位置的特征是割裂的，相邻区域的特征存在不连续性。之后的大部分工作致力于在整张输入图像上同时提取所有的局部特征，或者使用包围框或像素的分割标注来辅助诊断，然而使用包围框或像素的分割标注耗费大量标注时间，同时提取所有的局部特征虽然考虑到了不同部位特征上的连续性，但依然只依赖网络自身从数据中提取需要关注的局部区域。

专利文献CN109416933A公开了一种用于从至少一个已确定的病征开始并且基于包含医学本体的计算机化知识数据库来辅助建立患者的诊断的方法，所述医学本体包含：形成“病征”类别的病征列表，形成“病理状态”类别的病理状态列表，以及所述病征与所述病理状态之间的第一组逻辑关系，每个逻辑关系建立病征与病理状态之间的相关联系。根据本发明的方法包括：借助第一组逻辑关系来搜索与至少一个已确定的病征有联系的潜在的病理状态的步骤，以及确定潜在的病征的步骤，其中对于每个潜在的病理状态，借助第一组逻辑关系来确定通过相关联系与所述潜在的病理状态有联系的所有病征，该方法并不能很好得适用于脊骨脱位辅助诊断中。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种脊骨脱位辅助诊断方法及系统。本发明能够有效结合医生的先验知识和神经网络本身的学习能力，通过粗略的分割网络提取得到脊骨前后边缘的位置，通过类别激活图将前后边缘位置的约束引入神经网络，从而实现专家知识对神经网络的引导，提升模型对于脊骨脱位诊断的准确率和可解释性，并且在数据量较小时能保持很好的性能。

根据本发明提供的一种脊骨脱位辅助诊断方法，包括：粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。

优选地，粗分割网络训练步骤包括：分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取步骤包括：滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。

优选地，类别激活图生成步骤包括：

激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；

梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

/>

获取梯度计算结果信息；

类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·A_k)；

其中，w_k是梯度

全局平均池化得到的权重；获取生成类别激活图结果信息。

优选地，知识引导步骤包括：专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝{(i,j)|p_i,j<T},S₂＝{(i,j)|p_i,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。

优选地，诊断结果获取步骤包括：全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

根据本发明提供的一种脊骨脱位辅助诊断系统，包括：粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。

优选地，粗分割网络训练模块包括：分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取模块包括：滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。

优选地，类别激活图生成模块包括：

激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；

梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

获取梯度计算结果信息；

类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·A_k)；

其中，w_k是梯度

全局平均池化得到的权重；获取生成类别激活图结果信息。

优选地，知识引导模块包括：专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝{(i,j)|p_i,j<T},S₂＝{(i,j)|p_i,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。

优选地，诊断结果获取模块包括：全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

与现有技术相比，本发明具有如下的有益效果：

1、本发明对于输入图像通过粗分割网络得到分割图，从中定位脊骨边缘的大致位置，之后通过设计空间正则化项来约束类别激活图上的数值分布，从而将脊骨边缘的位置信息引入分类网络中；

2、本发明中使用标准的分类网络作为骨干网络，充分利用已有模型逐层提取高层语义特征的能力，与此同时将网络生成的类别激活图视作分类网络独有的特征图，通过约束类别激活图上的数值分布将脊骨前后边缘的位置信息引入网络中，最后通过设置阈值的方式在一定程度上将空间正则化项的约束能力控制在一个合适的范围，使得模型对于边缘位置信息中的噪声有更好的鲁棒性；

3、本发明能够提升脊骨脱位诊断的准确率和可解释性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法流程示意图。

图2为本发明系统框图示意图。

图3为本发明实施例中方法具体流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种脊骨脱位辅助诊断方法，包括：粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。

优选地，粗分割网络训练步骤包括：分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取步骤包括：滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。

优选地，类别激活图生成步骤包括：

激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；

梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

获取梯度计算结果信息；

类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·A_k)；

其中，w_k是梯度

全局平均池化得到的权重；获取生成类别激活图结果信息。

优选地，知识引导步骤包括：专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝{(i,j)|p_i,j<T},S₂＝{(i,j)|p_i,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。

优选地，诊断结果获取步骤包括：全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

如图3所示，具体地，在一个实施例中，一种基于专家先验知识引导的脊骨脱位计算机辅助诊断方法使用少量有弱标注的训练数据训练一个粗分割网络，从分割结果中提取出脊骨前后边缘的大致位置，通过标准分类网络中的权重参数显示地计算生成类别激活图，设计空间正则化项约束类别激活图上的数值分布，使得边缘附近的数值趋近于1，其余位置趋近于0，从而将脊骨的位置信息引入分类网络中，提升网络的准去率和可解释性。

所述方法包括如下步骤：

粗分割网络训练步骤：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；

滑窗提取步骤：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；

特征提取步骤：对于输入的医疗影像通过深度神经网络提取高层语义特征；

类别激活图生成步骤：利用分类网络中的权重参数生成类别激活图；

专家知识引导步骤：利用分割网络得到粗略分割结果并定位前后边缘的大致位置，以此约束神经网络类别激活图中的概率分布。

所述的粗分割网络训练步骤，将少量有标注了四个顶点的数据中四个顶点连接起来作为分割网络的标注，使用强监督训练的方式可以训练得到一个粗略的分割网络，对于任意输入的脊骨矢状面图片提取0到1之间浮点数组成的粗略分割图。

所述的滑窗提取步骤，训练数据通过滑窗提取来进行数据增广，利用粗分割网络到的分割结果，根据影像中脊骨的大小选择滑窗的尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗提取进行数据增广，以此克服数据量小的困难。

所述的特征提取步骤，深度神经网络采用标准的分类网络作为骨干网络，输出分类结果的同时生成0-1之间浮点数组成的类别激活图。

所述类别激活图生成步骤，直接使用模型的权重参数显示地计算出输出对于最后一层卷积层特征图的梯度，加速类别激活图生成的过程并且便于实现与部署。对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，可以将非线性层写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值。整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出。输出对最后一层卷积层输出的特征图的梯度可以显示地写作：

最终的类别激活图的计算可以写作：

其中，w_k是梯度

全局平均池化得到的权重。/>

所述专家知识引导步骤，利用脊骨脱位主要判别依据在于脊骨前后边缘是否光滑，根据粗分割网络的结果大致定位前后边缘的位置，在骨干网络的基础上通过空间正则化项约束类别激活图上的数值分布，使得脊骨边缘附近的数值增大，其余位置数值减小。

所述专家知识引导中，通过空间正则化项约束激活图上的数值分布。提取得到的脊骨边缘位置信息是一张二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，分别使用e_i,j和p_i,j表示二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝{(i,j)|p_i,j<T},S₂＝{(i,j)|p_i,j>T}。由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性。

总的训练损失函数可以写作：

L_cls＝L_BCE+λR_spatial

其中，L_BCE为二元的交叉熵损失函数，R_spatial为空间正则化项，L_cls表示网络总的分类损失函数，λ表示二元交叉熵损失函数和空间正则化项之间的平衡系数。

在训练阶段，从分割图中得到边缘粗略的定位信息后，骨干网络的梯度由二元交叉熵损失函数和空间正则化项共同计算得到。在测试阶段，不再生成分割图和类别激活图，只由训练好的分类网络直接输出诊断结果。

综上，本发明使用少量有弱标注的训练数据训练一个粗分割网络，从分割结果中提取出脊骨前后边缘的大致位置，通过标准分类网络中的权重参数显示地计算生成类别激活图，设计空间正则化项约束类别激活图上的数值分布，使得边缘附近的数值趋近于1，其余位置趋近于0，从而将脊骨的位置信息引入分类网络中，提升网络的准去率和可解释性。

根据本发明提供的一种脊骨脱位辅助诊断系统，包括：粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息。

优选地，粗分割网络训练模块包括：分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为监督，训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果较差的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上过程2-3次，获取待滑窗提取信息；滑窗提取模块包括：滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；根据滑窗标签信息，获取滑窗提取结果信息；若滑窗包含至少一个完整病灶，则认为此滑窗标签为脱位，否则滑窗标签为非脱位，获取滑窗提取结果信息。

优选地，类别激活图生成模块包括：

激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；

梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

获取梯度计算结果信息；

类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·A_k)；

其中，w_k是梯度

全局平均池化得到的权重；获取生成类别激活图结果信息。

优选地，知识引导模块包括：专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝{(i,j)|p_i,j<T},S₂＝{(i,j)|p_i,j>T}；由于之前训练的分割模型只使用了少量的弱标签，所以得到的前后边缘定位中含有大量噪声，通过设置阈值T，可以在一定程度上减轻正则化项的约束，使模型对于边缘定位中的噪声有更好的鲁棒性；获取知识引导结果信息。

优选地，诊断结果获取模块包括：全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

具体地，在一个实施例中，一种基于专家先验知识引导的脊骨脱位计算机辅助诊断系统，包括：

粗分割网络训练模块：通过少量标注了脊骨椎体四个顶点的数据训练粗略的分割网络；

滑窗提取模块：对输入图像按照其中脊骨椎体的大小提取滑窗进行数据增广；

特征提取模块：对于输入的医疗影像通过深度神经网络提取高层语义特征；

类别激活图生成模块：利用分类网络中的权重参数生成类别激活图；

专家知识引导模块：利用分割网络得到粗略分割结果并定位前后边缘的大致位置，以此约束神经网络类别激活图中的概率分布。

上述基于专家先验知识引导的脊骨脱位计算机辅助诊断系统各个模块实现的技术特征可以与上述基于专家先验知识引导的脊骨脱位计算机辅助诊断方法中对应步骤实现的技术特征相同。

本发明对于输入图像通过粗分割网络得到分割图，从中定位脊骨边缘的大致位置，之后通过设计空间正则化项来约束类别激活图上的数值分布，从而将脊骨边缘的位置信息引入分类网络中；本发明中使用标准的分类网络作为骨干网络，充分利用已有模型逐层提取高层语义特征的能力，与此同时将网络生成的类别激活图视作分类网络独有的特征图，通过约束类别激活图上的数值分布将脊骨前后边缘的位置信息引入网络中，最后通过设置阈值的方式在一定程度上将空间正则化项的约束能力控制在一个合适的范围，使得模型对于边缘位置信息中的噪声有更好的鲁棒性；本发明能够提升脊骨脱位诊断的准确率和可解释性。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种脊骨脱位辅助诊断方法，其特征在于，包括：

粗分割网络训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；

滑窗提取步骤：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；

特征提取步骤：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；

类别激活图生成步骤：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；

知识引导步骤：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；

诊断结果获取步骤：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息；

粗分割网络训练步骤包括：

分割网络初次训练步骤：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；

分割网络迭代优化步骤：根据待优化标注信息，去除部分分割效果不符合要求的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复上述分割网络初次训练步骤以及分割网络迭代优化步骤过程2-3次，获取待滑窗提取信息；

滑窗提取步骤包括：

滑窗截取步骤：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；

标签生成步骤：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；

根据滑窗标签信息，获取滑窗提取结果信息；

类别激活图生成步骤包括：

激活函数线性化表示步骤：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，ReLU(x)表示非线性激活函数，abs(·)表示逐元素取绝对值，diag表示对角矩阵，上式中可以将激活函数显示地写成矩阵乘法，将其记为R；获取激活函数线性表示信息；

梯度计算步骤：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，W_n表示最后一层全连接层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

获取梯度计算结果信息；

类别激活图计算步骤：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·A_k)；

其中，w_k是梯度

全局平均池化得到的权重，A_k表示第k个通道的特征图；获取生成类别激活图结果信息；

知识引导步骤包括：

专家知识提取步骤：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；

空间正则化项约束步骤：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝(i,j)|_i,j<},S₂＝(i,j)|_i,j>}；获取知识引导结果信息。

2.根据权利要求1所述的脊骨脱位辅助诊断方法，其特征在于，诊断结果获取步骤包括：

全连接网络分类步骤：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

3.一种脊骨脱位辅助诊断系统，其特征在于，包括：

粗分割网络训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，训练粗略的分割网络，获取待滑窗提取信息；

滑窗提取模块：根据待滑窗提取信息，对输入图像按照其中脊骨椎体的大小提取不同尺寸的滑窗进行数据增广，获取滑窗提取结果信息；

特征提取模块：根据滑窗提取结果信息，对于输入图像通过深度神经网络提取高层语义特征，获取待生成脊骨脱位诊断结果信息和待生成类别激活图信息；

类别激活图生成模块：根据待生成类别激活图信息，利用分类网络中的权重参数生成类别激活图，获取生成类别激活图结果信息；

知识引导模块：根据生成类别激活图结果信息，利用分割网络获取粗略分割结果并定位前后边缘的设定位置，以此约束神经网络类别激活图中的概率分布，获取知识引导结果信息；

诊断结果获取模块：根据知识引导结果信息和待生成脊骨脱位诊断结果信息，获取脊骨脱位诊断结果信息；

粗分割网络训练模块包括：

分割网络初次训练模块：根据数量小于设定阈值的标注脊骨椎体四个顶点的数据，将四个顶点按次序连接作为训练分割模型，并对所有训练数据进行分割，获取待优化标注信息；

分割网络迭代优化模块：根据待优化标注信息，去除部分分割效果不符合要求的分割结果，用剩余待优化标注信息重新训练分割网络，并对所有训练数据再次进行分割，重复以上分割网络初次训练以及分割网络迭代优化过程2-3次，获取待滑窗提取信息；

滑窗提取模块包括：

滑窗截取模块：根据待滑窗提取信息，调整滑窗尺寸，使得一个滑窗包含3-5块脊骨，通过滑窗从原图中截取大量子图进行数据增广，获取待生成标签信息；

标签生成模块：根据待生成标签信息，判断滑窗包含完整病灶的数量，获取滑窗标签信息；

根据滑窗标签信息，获取滑窗提取结果信息；

类别激活图生成模块包括：

激活函数线性化表示模块：根据待生成类别激活图信息，可以将深度神经网络激活函数写作线性运算：

其中，x表示非线性激活层的输入，abs(·)表示逐元素取绝对值；获取激活函数线性表示信息；

梯度计算模块：根据待生成类别激活图信息和激活函数线性表示，对于任意一张输入图像,A表示神经网络最后一层卷积层输出的特征图，神经网络中包含n个全连接层和n-1个ReLU非线性激活层，整个模型的全连接层的运算可以写作：

其中，R_i和W_i分别表示全连接层和非线性层的参数，y为神经网络的输出；输出对最后一层卷积层输出的特征图的梯度可以显式地写作：

获取梯度计算结果信息；

类别激活图计算模块：根据梯度计算结果信息，类别激活图的计算可以写作：

L＝ReLU(∑_kw_k·_k)；

其中，w_k是梯度

全局平均池化得到的权重；获取生成类别激活图结果信息；

知识引导模块包括：

专家知识提取模块：根据粗分割网络获得的分割结果，连接分割结果前后边缘的像素点，得到包含脊骨前后边缘位置信息的二值图，1表示在脊骨边缘位置的像素点，0表示在脊骨边缘位置之外的点，获取专家知识信息；

空间正则化项约束模块：根据专家知识信息、生成类别激活图结果信息，通过空间正则化项约束激活图上的数值分布；分别使用e_i,j和p_i,j表示脊骨边缘二值图和激活图上的数值，空间正则化项具体可写作：

其中，S₁表示激活图上数值小于阈值T的区域，而S₂则表示激活图上数值大于阈值T的区域，即S₁＝(i,j)|_i,j<},S₂＝(i,j)|_i,j>}；获取知识引导结果信息。

4.根据权利要求3所述的脊骨脱位辅助诊断系统，其特征在于，诊断结果获取模块包括：

全连接网络分类模块：根据获取待生成脊骨脱位诊断结果信息，使用一层全连接网络对输入图片进行分类，获取脊骨脱位诊断结果信息。

Images