CN113822231A - 一种基于深度学习图像识别的转子间骨折手术辅助系统 - Google Patents

Abstract

本发明提供一种基于深度学习图像识别的转子间骨折手术辅助系统，包括数据收集模块，将收集的数据分别传输至转子间骨折数据库、知识库；转子间骨折数据库，用于存储转子间骨折患者数据；转子间骨折知识库，用于存储转子间骨折手术资料数据；转子间骨折分型模块，根据转子间骨折知识库，采用深度学习的方法建立转子间骨折分类模型；还用于根据转子间骨折数据库中的患者的术前X线图像，使用转子间骨折分类模型对患者的转子间骨折进行分类；手术方案建议模块，根据转子间骨折的分类结果，结合患者数据使用决策树算法选出手术方案。本发明可以解决以解决现有的医学影像分类器，无法根据转子间骨折X线图像精准识别所有分型的技术问题。

Description

一种基于深度学习图像识别的转子间骨折手术辅助系统

技术领域

本发明涉及医学影像的图像识别技术领域，具体涉及一种基于深度学习图像识别的转子间骨折手术辅助系统。

背景技术

随着我国社会老龄化进程不断加剧，转子间骨折发病率呈上升趋势，转子间骨折手术复杂，不及时正确治疗可能会影响老年人的生活质量甚至威胁生命。近年来2018版AO/OTA骨折分类系统广泛应用于临床，转子间骨折分为A1、A2、A3三个亚型，A1、A3亚型可再细分为三个亚组(即：A1.1、A1.2、A1.3，以及A3.1、A3.2、A3.3)，A2亚型细分为两个亚组(即：A2.2、A2.3)，共八种分类。转子间骨折分型复杂，不同亚型对应着手术方式不同，不同亚组反映骨折的复杂程度，可以帮助医生对手术时间、难度及术中出血量进行预判。对于转子间骨折分型，一般主要依赖人工分型指导手术方案，但骨折分型种类繁多，分型规则非常复杂，临床医生难以熟记掌握，且临床分型时间长、效率低。此外，人工分型容易出现对骨折细节描述不清、不同类型间区分不明确，尤其是在缺乏经验的基层医疗单位，急诊诊疗中容易出现骨折漏诊等错误。

近年来，人工智能在图像分割分类领域发展迅速，出现了多种用于医学影像的图像分类器。但是，转子间骨折的分型繁杂且各个分型之间的差距不明显，分类多达8种，而现有的用于医学影像的图像分类器，一般只能实现2到3种类型的图像分类(比如对肿瘤和正常细胞组织的区分)；同时，现有的转子间骨折X线图像的数据较少，使用较少的转子间骨折X线图像训练出来的现有医学影像分类器，无法精准识别转子间骨折所有分型的X线图像。

发明内容

针对现有技术存在的不足，本发明提出一种基于深度学习图像识别的转子间骨折手术辅助系统，以解决现有的医学影像分类器，无法根据转子间骨折X线图像精准识别所有分型的技术问题。

本发明采用的技术方案是，一种基于深度学习图像识别的转子间骨折手术辅助系统，在第一种可实现方式中，包括：

数据收集模块，用于收集、录入各种数据，并将数据分别传输至转子间骨折数据库、转子间骨折知识库；

转子间骨折数据库，与数据收集模块相连接，用于存储转子间骨折患者数据；

转子间骨折知识库，与数据收集模块相连接，用于存储转子间骨折手术资料数据；

转子间骨折分型模块，分别与转子间骨折数据库、转子间骨折知识库相连接；用于根据转子间骨折知识库，采用深度学习的方法建立转子间骨折分类模型；还用于根据转子间骨折数据库中的患者的术前X线图像，使用转子间骨折分类模型对患者的转子间骨折进行分类。

由第一种可实现方式的技术方案可知，本发明的有益技术效果如下：使用基于深度学习图像识别开发的转子间骨折手术辅助系统，可以实现对转子间骨折进行分型的智能辅助诊断。

结合第一种可实现方式，在第二种可实现方式中，转子间骨折患者数据包括患者的基本信息、病历信息、术前X线图像。

结合第一种可实现方式，在第三种可实现方式中，转子间骨折手术资料数据包括转子间骨折的文献、专家经验、手术方案、手术指南、手术流程以及操作视频。

结合第一种可实现方式，在第四种可实现方式中，转子间骨折分类模型的建模过程如下:

对转子间骨折知识库中的转子间骨折X图像进行数据预处理，生成训练集、测试集、验证集；

使用训练集对人工神经网络进行训练，并使用测试集、验证集对训练后的人工神经网络进行优化，得到转子间骨折分类模型。

结合第四种可实现方式，在第五种可实现方式中，对转子间骨折知识库中的转子间骨折X图像进行数据预处理，包括：

对患者的转子间骨折X图像进行图像筛选，剔除含有假体、摆位不正及分辨率过低的图像，将符合要求的图像分为左、右、双侧三种图像，对图像进行分型打标签；

使用语义分割网络自动识别股骨位置，并自动裁剪保存，为背景赋值为0，去除背景；

打标签后的数据，自动裁剪后的数据，以及去除背景后的数据进行一次左右水平镜像翻转增强。

由第五种可实现方式的技术方案可知，本发明的有益技术效果如下：针对转子间骨折X图像的数据较少的情况，进行了自动裁剪、去除背景、水平翻转后，可以得到扩增后的数据样本。自动裁剪、去除背景后的数据更有利于特征的提取，并能提高学习效率；水平翻转可以提高模型的泛化能力，通过数据增强，可以使训练后的转子间骨折分类模型能够达到更高的分型准确率。

结合第五种可实现方式，在第六种可实现方式中，语义分割网络为unet语义分割网络。

结合第四种可实现方式，在第七种可实现方式中，人工神经网络的架构如下：Backbone主干网络，Neck中间网络以及Head网络。

结合第七种可实现方式，在第八种可实现方式中，Backbone主干网络采用mobilenet v3框架；Neck中间网络包括SPP加强特征提取网络和PANet加强特征提取网络；Head网络选用YOLO网络。

结合第一种可实现方式，在第九种可实现方式中，还包括手术方案建议模块，手术方案建议模块分别与转子间骨折分型模块、转子间骨折数据库、转子间骨折知识库相连接，根据转子间骨折的分类结果，结合患者数据，使用决策树算法从转子间骨折知识库中选出手术方案。

九种可实现方式的技术方案可知，本发明的有益技术效果如下：可以根据转子间骨折的智能分型结果，辅助临床手术医生进行最优的转子间骨折手术方案选择，提高转子间骨折手术成功率，减少病人痛苦。

结合第九种可实现方式，在第十种可实现方式中，使用决策树算法从转子间骨折知识库中选出手术方案，包括：

从患者病历中获取年龄，分为80岁及以上的患者以及80岁以下的患者：

80岁及以上的患者：80岁及以上的患者进一步检索是否祸患其他基础疾病，若有则建议保守治疗；若无则继续检索是否患有骨质疏松症：若有骨质疏松症则建议保守治疗，若无则建议专家会诊，制定特殊手术治疗方案；

80岁以下的患者：80岁以下的患者进一步检索是否祸患其他基础疾病，若有则建议专家会诊；若无则继续检索是否患有骨质疏松症：若有骨质疏松症则先对骨质疏松症进行治疗后再进行手术，若治疗效果不佳则进行专家会诊；若治疗效果佳或无骨质疏松症则进一步检索AO分型；

若分型为A1型则输出手术方案：动力髋螺钉固定方案及术中风险提示；

若分型为A2型则输出手术方案：头髓钉固定方案及术中风险提示；

若分型为A3型则输出手术方案：髓内钉、长髓内钉固定方案及术中风险提示。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例1的转子间骨折手术辅助系统示意图；

图2为本发明实施例1的转子间骨折分类模型建模流程示意图；

图3为本发明实施例2的转子间骨折手术辅助系统示意图；

图4为本发明实施例2的使用决策树算法从转子间骨折知识库中选出手术方案的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

本实施例提供了一种基于深度学习图像识别的转子间骨折手术辅助系统，如图1所示，包括：

数据收集模块，用于收集、录入各种数据，并将数据分别传输至转子间骨折数据库、转子间骨折知识库。数据收集的方式采用现有技术中任意一种可实现的方式进行。

转子间骨折数据库，与数据收集模块相连接，其中存储了大量的转子间骨折患者数据，包括每一位患者的基本信息、病历信息、术前X线图像。

转子间骨折知识库，与数据收集模块相连接，其中存储了大量的转子间骨折手术相关资料数据，包括转子间骨折的文献、专家经验、手术方案、手术指南、手术流程以及操作视频。

转子间骨折分型模块，分别与转子间骨折数据库、转子间骨折知识库相连接；用于根据转子间骨折知识库，采用深度学习的方法建立转子间骨折分类模型；还用于根据转子间骨折数据库中的患者的术前X线图像，使用转子间骨折分类模型对患者的转子间骨折进行分类。

以下进行具体说明：

根据转子间骨折知识库，采用深度学习的方法建立转子间骨折分类模型，如图2所示，包括：

1、对转子间骨折知识库中的转子间骨折X图像进行数据预处理，生成训练集、测试集、验证集

在转子间骨折知识库中转子间骨折的文献、专家经验，其中包含了大量患者的转子间骨折X图像。在进行数据预处理时，首先对患者的转子间骨折X图像进行图像筛选，剔除含有假体、摆位不正及分辨率过低的图像，将符合要求的图像分为左、右、双侧三种图像，对图像进行分型打标签。

然后，使用语义分割网络自动识别股骨位置，并自动裁剪保存，为背景赋值为0，去除背景。在具体的实施方式中，用语义分割网络对股骨位置进行自动识别前，需要通过使用左、右、双侧三种图像中的一部分被分型打标签的数据，对语义分割网络进行训练。在本实施例中，语义分割网络优选为unet，unet语义分割网络带有自动裁剪功能与背景去除功能。

再对打标签后的数据，自动裁剪后的数据，以及去除背景后的数据进行一次左右水平镜像翻转增强，实现数据的6倍扩增，完成数据预处理。

针对转子间骨折X图像的数据较少的情况，在本实施例中，进行了自动裁剪、去除背景、水平翻转后，可以得到扩增后的数据样本。自动裁剪、去除背景后的数据更有利于特征的提取，并能提高学习效率；水平翻转可以提高模型的泛化能力，通过数据增强，可以使训练后的转子间骨折分类模型能够达到更高的分型准确率。

将完成了数据预处理的转子间骨折X图像数据，按一定比例分为训练集、测试集、验证集；在具体的实施方式中，优选的，训练集、测试集、验证集中的数据比例为7：2：1。

2、使用训练集对人工神经网络进行训练，并使用测试集、验证集对训练后的人工神经网络进行优化，得到转子间骨折分类模型

在本实施例中，人工神经网络的架构如下：Backbone主干网络，Neck中间网络以及Head网络。在具体的实施方式中，Backbone主干网络采用mobilenet v3框架，mobilenet v3是轻量级网络，采用可分离卷积，具有参数少、速度快、精确度高的优点，用于初步特征提取。Neck中间网络包括SPP加强特征提取网络和PANet加强特征提取网络，对特征层进一步处理，获取更强的特征信息。Head网络选用YOLO网络，YOLO网络使用了单阶段目标检测算法，将提取的特征层进行整合，完成最终识别。

在对上述人工神经网络进行训练、优化时，若准确率不符合分类要求，则重新调整人工神经网络的超参数，重复训练过程，直到准确率符合要求。在具体的实施方式中，分类要求的准确率为95％。

通过完成训练、优化的人工神经网络，即为转子间骨折分类模型，使用该模型，可以根据患者的术前X线图像，将转子间骨折分为以下情况：A1、A2、A3三个亚型，A1、A3亚型可再细分为三个亚组，A2亚型细分为两个亚组，共八种分类。

转子间骨折的不同亚型对应着手术方式不同，不同亚组反映骨折的复杂程度，可帮助医生对手术时间、难度及术中出血量进行预判，具体对应关系如表1所示：

表1转子间骨折分型与手术方案及术中风险程度对照

通过本实施例的技术方案，使用基于深度学习图像识别开发的转子间骨折手术辅助系统，可以对转子间骨折的8个分类进行精准识别，实现对转子间骨折进行分型的智能辅助诊断，避免人工分型效率低、准确率易受疲劳影响以及经验深浅影响，导致分型不准。

实施例2

本实施例在实施例1的基础上，如图3所示，还包括了手术方案建议模块，手术方案建议模块分别与转子间骨折分型模块、转子间骨折数据库、转子间骨折知识库相连接，根据转子间骨折的分类结果，结合患者数据，使用决策树算法从转子间骨折知识库中选出手术方案，辅助医生进行诊断和治疗。

手术方案建议模块使用决策树算法从转子间骨折知识库中选出手术方案，如图4所示，包括如下：

从患者病历中获取年龄，分为80岁及以上的患者以及80岁以下的患者：

80岁及以上的患者：80岁及以上的患者进一步检索是否祸患其他基础疾病如高血压、糖尿病、高血脂、严重的肝肾疾病：

若有则输出最终决策：建议保守治疗；

若无则继续检索是否患有骨质疏松症：若有骨质疏松症则输出最终决策：建议保守治疗，若无则输出最终建议：建议专家会诊，制定特殊手术治疗方案。

80岁以下的患者：80岁以下的患者进一步检索是否祸患其他基础疾病如高血压、糖尿病、高血脂、严重的肝肾疾病：

若有则输出最终决策：建议专家会诊，结合患者实际情况充分讨论是否满足手术适应症；

若无则进一步检索是否患有骨质疏松症：若有骨质疏松症则需要先对骨质疏松症进行相应治疗后再进行手术，若治疗效果不佳则需要专家会诊(因手术失败率较高)；若治疗效果佳或无骨质疏松症则进一步检索AO分型：

若分型为A1型(包括A1.1、A1.2、A1.3)则对应输出决策：动力髋螺钉固定方案及术中风险提示(手术复杂度、手术时间、手术难度、出血量)；

若分型为A1.2型(包括A2.2、A2.3)则对应输出决策：头髓钉固定方案及术中风险提示(手术复杂度、手术时间、手术难度、出血量)；

若分型为A1.3型(包括A3.1、A3.2、A3.3)则对应输出决策：髓内钉、长髓内钉固定方案及术中风险提示(手术复杂度、手术时间、手术难度、出血量)。

优先的，手术方案会随转子间骨折知识库的更新而更新。

通过本实施例的技术方案，可以根据转子间骨折的智能分型结果，辅助临床手术医生进行最优的转子间骨折手术方案选择，提高转子间骨折手术成功率，减少病人痛苦，避免因受到人为经验深浅影响，导致手术方式选择不合理造成手术失败。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，包括：

数据收集模块，用于收集、录入各种数据，并将数据分别传输至转子间骨折数据库、转子间骨折知识库；

转子间骨折数据库，与数据收集模块相连接，用于存储转子间骨折患者数据；

转子间骨折知识库，与数据收集模块相连接，用于存储转子间骨折手术资料数据；

转子间骨折分型模块，分别与转子间骨折数据库、转子间骨折知识库相连接；用于根据转子间骨折知识库，采用深度学习的方法建立转子间骨折分类模型；还用于根据转子间骨折数据库中的患者的术前X线图像，使用转子间骨折分类模型对患者的转子间骨折进行分类。

2.根据权利要求1所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述转子间骨折患者数据包括患者的基本信息、病历信息、术前X线图像。

3.根据权利要求1所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述转子间骨折手术资料数据包括转子间骨折的文献、专家经验、手术方案、手术指南、手术流程以及操作视频。

4.根据权利要求1所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述转子间骨折分类模型的建模过程如下:

对转子间骨折知识库中的转子间骨折X图像进行数据预处理，生成训练集、测试集、验证集；

使用训练集对人工神经网络进行训练，并使用测试集、验证集对训练后的人工神经网络进行优化，得到转子间骨折分类模型。

5.根据权利要求4所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，对转子间骨折知识库中的转子间骨折X图像进行数据预处理，包括：

对患者的转子间骨折X图像进行图像筛选，剔除含有假体、摆位不正及分辨率过低的图像，将符合要求的图像分为左、右、双侧三种图像，对图像进行分型打标签；

使用语义分割网络自动识别股骨位置，并自动裁剪保存，为背景赋值为0，去除背景；

打标签后的数据，自动裁剪后的数据，以及去除背景后的数据进行一次左右水平镜像翻转增强。

6.根据权利要求5所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述语义分割网络为unet语义分割网络。

7.根据权利要求4所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述人工神经网络的架构如下：Backbone主干网络，Neck中间网络以及Head网络。

8.根据权利要求7所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，所述Backbone主干网络采用mobilenet v3框架；所述Neck中间网络包括SPP加强特征提取网络和PANet加强特征提取网络；所述Head网络选用YOLO网络。

9.根据权利要求1所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，还包括手术方案建议模块，所述手术方案建议模块分别与转子间骨折分型模块、转子间骨折数据库、转子间骨折知识库相连接，根据转子间骨折的分类结果，结合患者数据，使用决策树算法从转子间骨折知识库中选出手术方案。

10.根据权利要求9所述的基于深度学习图像识别的转子间骨折手术辅助系统，其特征在于，使用决策树算法从转子间骨折知识库中选出手术方案，包括：

从患者病历中获取年龄，分为80岁及以上的患者以及80岁以下的患者：

80岁及以上的患者：80岁及以上的患者进一步检索是否祸患其他基础疾病，若有则建议保守治疗；若无则继续检索是否患有骨质疏松症：若有骨质疏松症则建议保守治疗，若无则建议专家会诊，制定特殊手术治疗方案；

80岁以下的患者：80岁以下的患者进一步检索是否祸患其他基础疾病，若有则建议专家会诊；若无则继续检索是否患有骨质疏松症：若有骨质疏松症则先对骨质疏松症进行治疗后再进行手术，若治疗效果不佳则进行专家会诊；若治疗效果佳或无骨质疏松症则进一步检索AO分型；

若分型为A1型则输出手术方案：动力髋螺钉固定方案及术中风险提示；

若分型为A2型则输出手术方案：头髓钉固定方案及术中风险提示；

若分型为A3型则输出手术方案：髓内钉、长髓内钉固定方案及术中风险提示。

Images