CN111444978A - 椎体成形术骨水泥渗漏检测方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种椎体成形术骨水泥渗漏检测方法、系统及存储介质，获取预先进行轮廓关键点及骨水泥是否渗漏标注的椎体成形术X光图像；对预先收集的X光图像，根据标注的轮廓关键点位置信息，以及骨水泥是否渗漏标识，构建数据集；基于ImageNet预训练模型分别构建2个神经网络，第一个神经网络用语学习椎骨轮廓信息，第二个神经网络用于学习骨水泥轮廓坐标信息；固化两个神经网络的模型参数，将两个模型的输出值输出至SVM分类器，对是否发生骨水泥渗漏进行学习。本发明预测时间较人工检测大大减少，并解决了由于医生人工检测更依赖于医师经验导致检测结果一致性差的问题。

Description

椎体成形术骨水泥渗漏检测方法、系统及存储介质

技术领域

本发明涉及深度学习、智能医学影像分析技术、计算机视觉领域，尤其涉及一种椎体成形术骨水泥渗漏检测方法、系统及存储介质。

背景技术

椎体成形术X光图像是常规医学影像中的一种，目前对于术中骨水泥渗漏的检查及分析大多由人工方式实现，存在分析耗时较长，效率较低，容易判断失误，且分析结果准确性依赖于分析者的水平，难以保证检测及分析结果的准确性及一致性。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种椎体成形术骨水泥渗漏检测方法、系统及存储介质，实时快速、准确的完成椎体成形术骨水泥渗漏的自动检测。

为解决上述技术问题，本发明所采用的技术方案是：一种椎体成形术骨水泥渗漏检测方法，包括以下步骤：

1)对椎体成形术X光图像进行轮廓关键点标记和骨水泥是否渗漏的标记，

利用标记后的椎体成形术X光数据库构建数据集，随机从所述数据集中抽取相应数量的数据作为训练集；

2)将所述训练集分别输入两个神经网络，训练所述两个神经网络，当满足收敛条件时，得到两个用于识别轮廓关键点坐标的训练模型；

3)随机从所述数据集中抽取相应数量的数据作为SVM分类器的训练集，将所述SVM分类器的训练集中椎体成形术X光图像分别输入两个所述训练模型中，得到椎体成形术X光图像椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标，将椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标输入SVM分类器，训练所述SVM分类器，得到训练好的模型；

4)将新采集的椎体成形术X光图像输入训练好的模型中，判断骨水泥是否发生渗漏。

通过上述方法，可以实时快速、准确的完成椎体成形术骨水泥渗漏的自动检测。

步骤1)中，将所述数据集随机按照80％，20％的比例划分为训练集、测试集。构建相应数量的训练集，便于测试训练好的模型。

步骤2)中，所述两个神经网络均包括去除ResNet-50全连接层及输出层之后的ResNet-50网络。该神经网络可靠性高，计算量相对较小。

步骤2)中，判断所述两个神经网络是否收敛的具体实现过程包括：设置所述神经网络的损失函数

构建目标函数

使用目标函数的均方误差MSE作为评判标准，当连续两次MSE降低率小于2％时，判定为达到收敛条件；其中，X为神经网络的输入数据，θ为神经网络的神经元间连接的参数；Y⁽ⁱ⁾＝((x⁽ⁱ⁾ ₁,y⁽ⁱ⁾ ₁),(x⁽ⁱ⁾ ₂,y⁽ⁱ⁾ ₂),(x⁽ⁱ⁾ ₃,y⁽ⁱ⁾ ₃)…)为训练集标签；x⁽ⁱ⁾ _n,y⁽ⁱ⁾ _n为训练集中实际的轮廓关键点坐标，n为轮廓关键点位置序号，i代表第i张训练图片，f(X，θ)为神经网络的假设函数(hypothesis function)；π(θ)为L2正则项。使用损失函数判断神经网络是否收敛，进一步提高神经网络训练的可靠性和准确性。

步骤2)中，利用所述训练集，使用K折交叉验证，分别对两个训练模型设置不同组别的超参数，每一组超参数随机抽取训练集中一部分数据进行验证，训练集中其余数据用于验证所述训练模型；对于每一个训练模型，比较分别使用不同超参数设定下，该训练模型输出值的MSE，将MSE值最优的一组训练模型参数固化，再将训练模型部署在测试集上，验证训练模型的性能。进一步提高训练模型的可靠性和准确性。

所述超参数设置如下：矩估计指数衰减率beta＝0.85；设置学习率衰减因子decay＝1e-4，BatchSize起始值选择1000，以1000为增量递增，直至BatchSize增至与训练集数据量大小相等，根据多组不同超参数设定，训练得到多组训练模型，对所述多组训练模型进行交叉验证，保留验证结果最优的一组训练模型，作为用于识别轮廓关键点坐标的训练模型。进一步保证验证结果准确。

步骤3)中，将所述数据集划分为SVM分类器的训练集和测试集，且所述SVM分类器的训练集和测试集数量比为4:1。保证足够数量的训练集，从而提高模型训练精度，同时利用测试集可以测试模型准确性，进一步提高验证结果准确性。

将所述训练好的模型部署至服务器，所述服务器与客户端耦接；在所述客户端输入椎体成形术X光图像，即得到骨水泥是否发生渗漏的判定结果。在离线方式下，也可以进行硅水泥是否发生渗漏的判断。

相应地，本发明还提供了一种基于深度学习的椎体成形术骨水泥渗漏检测系统，包括服务器和客户端；所述服务器与所述客户端耦接；所述服务器内部署有训练好的模型；该训练好的模型的获得过程包括：

对椎体成形术X光图像进行轮廓关键点标记和骨水泥是否渗漏的标记，利用标记后的椎体成形术X光数据库构建数据集，随机从所述数据集中抽取相应数量的数据作为训练集；

将所述训练集分别输入两个神经网络，训练所述两个神经网络，当满足收敛条件时，得到两个用于识别轮廓关键点坐标的训练模型；

随机从所述数据集中抽取相应数量的数据作为SVM分类器的训练集，将所述SVM分类器的训练集中椎体成形术X光图像分别输入两个所述训练模型中，得到椎体成形术X光图像椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标，将椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标输入SVM分类器，训练所述SVM分类器，得到训练好的模型；

所述客户端用于将新采集的椎体成形术X光图像输入所述服务器中，判断骨水泥是否发生渗漏。

作为一个发明构思，本发明还提供了一种计算机可读存储介质，其存储有程序，该程序用于执行上述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：本发明利用深度学习，对椎体成形术中骨水泥渗漏进行实时监测，当骨水泥发生渗漏时，监控界面将出现提示告警，预测分析时间小于0.1秒，对比非经验丰富的普通医师，预测时间较人工检测大大减少，并解决了由于医生人工检测更依赖于医师经验导致检测结果一致性差的问题。

附图说明

图1为本发明实施例提供的一种基于深度学习的椎体成形术术中骨水泥渗漏检测方法流程图；

图2为本发明实施例提供的一种基于深度学习的椎体成形术术中骨水泥渗漏检测方法示意图；

图3为本发明实力提供了进行了轮廓关键点位置标注的椎体成形术术中X光图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，本发明的实现步骤如下：

1)获取预先进行轮廓关键点及骨水泥是否渗漏标注的椎体成形术X光图像；

2)对预先收集的X光图像，根据标注的轮廓关键点位置信息，以及骨水泥是否渗漏标识，构建数据集；

3)基于ImageNet预训练模型分别构建2个神经网络，第一个神经网络用语学习椎骨轮廓信息，第二个神经网络用于学习骨水泥轮廓坐标信息；

4)固化两个神经网络的模型参数，将两个模型的输出值输出至SVM分类器，对是否发生骨水泥渗漏进行学习；

5)模型验证及测试。

本发明中，两个神经网络均包括去除ResNet-50全连接层及输出层之后的ResNet-50网络。

模型参数固化之前，要判断神经网络是否收敛，判断两个神经网络是否收敛的具体实现过程包括：设置所述神经网络的损失函数

构建目标函数

用目标函数的均方误差MSE作为评判标准，当连续两次MSE降低率小于2％时，判定为达到收敛条件；其中，X为神经网络的输入数据，θ为神经网络的神经元间连接的参数；Y⁽ⁱ⁾＝((x⁽ⁱ⁾ ₁,y⁽ⁱ⁾ ₁),(x⁽ⁱ⁾ ₂,y⁽ⁱ⁾ ₂),(x⁽ⁱ⁾ ₃,y⁽ⁱ⁾ ₃)…)为训练集标签；x⁽ⁱ⁾ _n,y⁽ⁱ⁾ _n为训练集中实际的轮廓关键点坐标，n为轮廓关键点位置序号，i代表第i张训练图片，f(X，θ)为神经网络的假设函数；π(θ)为L2正则项。

模型验证的具体实现过程包括：利用训练集，使用K折交叉验证，分别对两个训练模型设置不同组别的超参数，每一组超参数随机抽取训练集中一部分数据进行验证，训练集中其余数据用于验证所述训练模型；对于每一个训练模型，比较分别使用不同超参数设定下，该训练模型输出值的MSE，将MSE值最优的一组训练模型参数固化，再将训练模型部署在测试集上，验证训练模型的性能。

超参数(模型参数)设置如下：矩估计指数衰减率beta＝0.85；设置学习率衰减因子decay＝1e-4，BatchSize起始值选择1000，以1000为增量递增，直至BatchSize增至与训练集数据量大小相等，根据多组不同超参数设定，训练得到多组训练模型，对所述多组训练模型进行交叉验证，保留验证结果最优的一组训练模型，作为用于识别轮廓关键点坐标的训练模型。

本实施例的计算机可读存储介质，其存储有程序，该程序用于执行本发明实施例方法的步骤。

实施例

基于深度学习的椎体成型术骨水泥渗漏检测实施方法，包括对骨水泥X光图像进行标记、图像关键点检测模型训练、是否渗漏判断模型训练、模型的部署等步骤。

将某三甲医院椎骨成型术中骨水泥术中X光图片作为数据集，数据集包括6000张X光图像，其中包括未发生渗漏图片5000张，发生渗漏图片1000张。

按照附图3所示将获取的术中骨水泥X光照片做标记，将标记后的图像作为数据集，随机从所属数据集中抽取80％数量(4800张)图片作为训练集，剩余图片(1200张)作为测试集。图3中圆形标记为椎骨的轮廓，三角标记为骨水泥轮廓。

如附图2构建2个神经网络，均基于ResNet-50模型，将ResNet-50模型的全连接层与输出层去掉，并重新构建输出层。

分别将训练图像数据作为输入端输入至两个神经网络，第一个神经网络用于训练椎骨轮廓关键点坐标点识别，第二个神经网络用于训练骨水泥轮廓关键点坐标识别。

设定损失函数为

构建目标函数为

使用目标函数均方误差MSE作为评判标准，设定收敛准则如下：当连续两次MSE降低率小于2％时，判定达到收敛。

模型训练前，设置超参数如下：矩估计指数衰减率beta＝0.85，设置学习率衰减因子decay＝1e-4，Batchsize设置一组列表值，取值分别为1000，2000，3000，4000，4800，分别按照列表中执行训练，值选取从1000开始，逐渐递增，得出5组模型。

对多组模型进行交叉验证，保证验证结果最优的一组训练模型为Batchsize取4000的一组，作为用于识别轮廓关键点坐标的训练模型。

将神经网络的输出信息作为输入，以是否发生骨水泥渗漏作为标签，构建SVM数据集，随机抽取80％输入作为训练集，剩余部分作为数据集。使用SVM分类器对模型进行训练，训练完成后将模型放置至测试集中进行验证。

对结果进行验证，模型精度为0.85％，召回率为70％，符合设计要求。

将整个模型(包括两个神经网络、一个SVM分类器)部署至服务器，客户端通过客户端监控软件控制图像采集、与服务器的通信，并将模型判断是否发生骨水泥渗漏及时反馈。

本实施例的检查系统包括服务器和客户端；服务器与客户端耦接；服务器内部署有训练好的模型；该训练好的模型是通过本实施例的方法获得的。

Claims (10)

1.一种椎体成形术骨水泥渗漏检测方法，其特征在于，包括以下步骤：

1)对椎体成形术X光图像进行轮廓关键点标记和骨水泥是否渗漏的标记，利用标记后的椎体成形术X光数据库构建数据集，随机从所述数据集中抽取相应数量的数据作为训练集；

2)将所述训练集分别输入两个神经网络，训练所述两个神经网络，当满足收敛条件时，得到两个用于识别轮廓关键点坐标的训练模型；

3)随机从所述数据集中抽取相应数量的数据作为SVM分类器的训练集，将所述SVM分类器的训练集中椎体成形术X光图像分别输入两个所述训练模型中，得到椎体成形术X光图像椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标，将椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标输入SVM分类器，训练所述SVM分类器，得到训练好的模型；

4)将新采集的椎体成形术X光图像输入训练好的模型中，判断骨水泥是否发生渗漏。

2.根据权利要求1所述的椎体成形术骨水泥渗漏检测方法，其特征在于，步骤1)中，将所述数据集按照80％，20％的比例划分为训练集、测试集。

3.根据权利要求1所述的椎体成形术骨水泥渗漏检测方法，其特征在于，步骤2)中，所述两个神经网络均包括去除ResNet-50全连接层及输出层之后的ResNet-50网络。

4.根据权利要求1所述的椎体成形术骨水泥渗漏检测方法，其特征在于，步骤2)中，判断所述两个神经网络是否收敛的具体实现过程包括：设置所述神经网络的损失函数

构建目标函数

使用目标函数的均方误差MSE作为评判标准，当连续两次MSE降低率小于2％时，判定为达到收敛条件；其中，X为神经网络的输入数据，θ为神经网络的神经元间连接的参数；Y⁽ⁱ⁾＝((x⁽ⁱ⁾ ₁,y⁽ⁱ⁾ ₁),(x⁽ⁱ⁾ ₂,y⁽ⁱ⁾ ₂),(x⁽ⁱ⁾ ₃,y⁽ⁱ⁾ ₃)…)为训练集标签；x⁽ⁱ⁾ _n,y⁽ⁱ⁾ _n为训练集中实际的轮廓关键点坐标，n为轮廓关键点位置序号，i代表第i张训练图片，f(X，θ)为神经网络的假设函数；π(θ)为L2正则项。

5.根据权利要求2所述的椎体成形术骨水泥渗漏检测方法，其特征在于，步骤2)中，利用所述训练集，使用K折交叉验证，分别对两个训练模型设置不同组别的超参数，每一组超参数随机抽取训练集中一部分数据进行验证，训练集中其余数据用于验证所述训练模型；对于每一个训练模型，比较分别使用不同超参数设定下，该训练模型输出值的MSE，将MSE值最优的一组训练模型参数固化，再将训练模型部署在测试集上，验证训练模型的性能。

6.根据权利要求5所述的椎体成形术骨水泥渗漏检测方法，其特征在于，所述超参数设置如下：矩估计指数衰减率beta＝0.85；设置学习率衰减因子decay＝1e-4，BatchSize起始值选择1000，以1000为增量递增，直至BatchSize增至与训练集数据量大小相等，根据多组不同超参数设定，训练得到多组训练模型，对所述多组训练模型进行交叉验证，保留验证结果最优的一组训练模型，作为用于识别轮廓关键点坐标的训练模型。

7.根据权利要求1所述的椎体成形术骨水泥渗漏检测方法，其特征在于，步骤3)中，将所述数据集划分为SVM分类器的训练集和测试集，且所述SVM分类器的训练集和测试集数量比为4:1。

8.根据权利要求1所述的椎体成形术骨水泥渗漏检测方法，其特征在于，将所述训练好的模型部署至服务器，所述服务器与客户端耦接；在所述客户端输入椎体成形术X光图像，即得到骨水泥是否发生渗漏的判定结果。

9.一种基于深度学习的椎体成形术骨水泥渗漏检测系统，其特征在于，包括服务器和客户端；所述服务器与所述客户端耦接；所述服务器内部署有训练好的模型；该训练好的模型的获得过程包括：

对椎体成形术X光图像进行轮廓关键点标记和骨水泥是否渗漏的标记，利用标记后的椎体成形术X光数据库构建数据集，随机从所述数据集中抽取相应数量的数据作为训练集；

将所述训练集分别输入两个神经网络，训练所述两个神经网络，当满足收敛条件时，得到两个用于识别轮廓关键点坐标的训练模型；

随机从所述数据集中抽取相应数量的数据作为SVM分类器的训练集，将所述SVM分类器的训练集中椎体成形术X光图像分别输入两个所述训练模型中，得到椎体成形术X光图像椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标，将椎骨轮廓关键点坐标与骨水泥轮廓关键点坐标输入SVM分类器，训练所述SVM分类器，得到训练好的模型；

所述客户端用于将新采集的椎体成形术X光图像输入所述服务器中，判断骨水泥是否发生渗漏。

10.一种计算机可读存储介质，其特征在于，其存储有程序，该程序用于执行权利要求1～8之一所述方法的步骤。

Images