CN114693612A - 一种基于深度学习的膝关节骨肿瘤检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种基于深度学习的膝关节骨肿瘤检测方法及相关装置，所述方法包括获取待识别的膝关节X光图像；分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。本申请通过经过训练的骨肿瘤检测模型确定若干候选预测区域，然后在采用非极大抑制处理对若干候选预测区域进行处理得到骨肿瘤区域，这样可以提高骨肿瘤区域检测的准确性，减少临床上对骨肿瘤的漏诊。

Description

一种基于深度学习的膝关节骨肿瘤检测方法及相关装置

技术领域

本申请涉及生物医学技术领域，特别涉及一种基于深度学习的膝关节骨肿瘤检测方法及相关装置。

背景技术

骨肿瘤是一组原发或继发于骨的肿瘤性病变，骨肿瘤是小于20岁的癌症患者的第三大死因。骨肿瘤具有罕见性，临床医生的诊断经验相对缺乏，加之不同骨肿瘤在影像学和病理学上的相似特征较多，因此，骨肿瘤检测复杂性高以及难度大，特别是对一些不明显的骨肿瘤病灶，极易造成漏诊或误诊。

目前骨肿瘤的检查方法普遍是基于平片、CT及MRI等的影像学检查和病理学检查，其中，平片从整体上展示了骨肿瘤的全貌，提供了检测的独特信息，例如，包括病变的部位、形态、密度、边缘、周围骨质情况以及骨膜新生骨等，并且平片相比CT和MRI方便、价格低廉，从而平片是初诊时对骨肿瘤进行筛查的重要手段。然而，在基于平片对对骨肿瘤进行筛查时，普遍通过临床医生人工筛查，这样一方面非常依赖医生的临床经验，另一方也会存在因人为失误而产生的错检或者漏检的问题。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于深度学习的膝关节骨肿瘤检测方法及相关装置。

为了解决上述技术问题，本申请实施例第一方面提供了一种基于深度学习的膝关节骨肿瘤检测方法，所述的方法包括：

获取待识别的膝关节X光图像；

分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；

采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述若干骨肿瘤检测模型中的各骨肿瘤检测模型的模型结构相同，各骨肿瘤检测模型的模型参数为基于不同训练样本集训练得到的。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域具体包括：

获取各候选预测区域的区域位置，其中，所述区域位置用于反映候选预测区域在膝关节X光图像上的位置信息；

基于各候选预测区域的区域位置以及置信度，对所有候选预测区域进行筛选，以得到骨肿瘤区域。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述骨肿瘤检测模型确定候选预测区域及其对应的置信度的过程具体包括：

通过骨肿瘤检测模型确定若干特征图，其中，若干特征图中各特征图的图像尺寸互不相同；

基于若干特征图确定所述膝关节X光图像对应的候选预测区域及其对应的置信度。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述骨肿瘤检测模型为基于预设训练样本集训练得到的，所述预设训练样本集包括若干训练膝关节X光图像以及若干扩充训练膝关节X光图像，其中，扩充训练膝关节X光图像为基于训练膝关节X光图像以及正常膝关节X光图像生成的。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述扩充训练膝关节X光图像的生成过程具体包括：

获取正常膝关节X光图像，并通过经过训练的膝关节骨骼分割模型确定所述正常膝关节X光图像对应的膝关节骨骼分割图像；

在若干训练膝关节X光图像中选取一候选训练膝关节X光图像，将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。

所述的基于深度学习的膝关节骨肿瘤检测方法，其中，所述将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像具体为：

对所述候选训练膝关节X光图像中的骨肿瘤区域进行调整，并将调整后的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。

本申请实施例第二方面提供了一种基于深度学习的膝关节骨肿瘤检测装置，所述的装置包括：

获取模块，用于获取待识别的膝关节X光图像；

确定模块，用于将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；

处理模块，用于采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于深度学习的膝关节骨肿瘤检测方法中的步骤。

本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的基于深度学习的膝关节骨肿瘤检测方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种基于深度学习的膝关节骨肿瘤检测方法及相关装置，所述方法包括获取待识别的膝关节X光图像；分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。本申请通过经过训练的骨肿瘤检测模型确定若干候选预测区域，然后在采用非极大抑制处理对若干候选预测区域进行处理得到骨肿瘤区域，这样可以提高骨肿瘤区域检测的准确性，减少临床上对骨肿瘤的漏诊。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的基于深度学习的膝关节骨肿瘤检测方法的流程图。

图2为本申请提供的基于深度学习的膝关节骨肿瘤检测方法中的扩充训练膝关节X光图像的获取过程的流程图。

图3为为本申请提供的基于深度学习的膝关节骨肿瘤检测方法中的骨肿瘤检测模型的一个示例图。

图4为本申请提供的基于深度学习的膝关节骨肿瘤检测装置的结构原理图。

图5为本申请提供的终端设备的结构原理图。

具体实施方式

本申请提供一种基于深度学习的膝关节骨肿瘤检测方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

发明人经过研究发现，骨肿瘤是一组原发或继发于骨的肿瘤性病变，骨肿瘤是小于20岁的癌症患者的第三大死因。骨肿瘤具有罕见性，临床医生的诊断经验相对缺乏，加之不同骨肿瘤在影像学和病理学上的相似特征较多，因此，骨肿瘤检测复杂性高以及难度大，特别是对一些不明显的骨肿瘤病灶，极易造成漏诊或误诊。

目前骨肿瘤的检查方法普遍是基于平片、CT及MRI等的影像学检查和病理学检查，其中，平片从整体上展示了骨肿瘤的全貌，提供了检测的独特信息，例如，包括病变的部位、形态、密度、边缘、周围骨质情况以及骨膜新生骨等，并且平片相比CT和MRI方便、价格低廉，从而平片是初诊时对骨肿瘤进行筛查的重要手段。然而，在基于平片对对骨肿瘤进行筛查时，普遍通过临床医生人工筛查，这样一方面非常依赖医生的临床经验，另一方也会存在因人为失误而产生的错检或者漏检的问题。

为了解决上述问题，在本申请实施例中，获取待识别的膝关节X光图像；分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。本申请通过经过训练的骨肿瘤检测模型确定若干候选预测区域，然后在采用非极大抑制处理对若干候选预测区域进行处理得到骨肿瘤区域，这样可以提高骨肿瘤区域检测的准确性，减少临床上对骨肿瘤的漏诊。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种基于深度学习的膝关节骨肿瘤检测方法，如图1所示，所述方法包括：

S10、获取待识别的膝关节X光图像。

具体地，所述膝关节X光图像可以是携带有骨肿瘤区域的X光图像，也可以是未携带有骨肿瘤区域的X光图像。其中，膝关节X光图像可以是通过X光设备采集到的实时图像，也可以是通过读取存储设备获取的非实时图像，还可以是通过外部设备发送的非实时图像等。

S20、分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度。

具体地，若干骨肿瘤检测模型中的每个骨肿瘤检测模型均是经过训练的深度学习网络模型，其中，各骨肿瘤检测模型的模型结构相同，各骨肿瘤检测模型的模型参数为基于不同训练样本集训练得到。各骨肿瘤检测模型各自对应的训练样本集中的训练样本集中的各训练样本均为膝关节X光图像，并且各训练样本集中的各训练样本互不相同，或者是，每个训练样本集中至少存在部分训练样本未包含于其他训练样本集中。可以理解的是，各骨肿瘤检测模型均是采用膝关节X光图像进行训练的，但是骨肿瘤检测模型所采用的各膝关节X光图像不同，从而使得训练后的各骨肿瘤检测模型的模型参数不同。

候选预测区域以及置信度为通过骨肿瘤检测模型确定的待识别的膝关节X光图像的预测结果，其中，候选预测区域为骨肿瘤区域的预测区域，置信度用于放映候选预测区域的可信程度，置信度的取值范围为0-1，并且置信度越高说明候选预测区域的可信程度越高，置信度越低说明候选预测区域的可信程度越低。在一个实现方式中，候选预测区域包括候选预测区域的区域类别信息以及区域位置信息，其中，区域类别信息用于反映候选预测区域中的图像区域是否为骨肿瘤区域，区域位置信息用于反映候选预测区域的位置信息。

在一个实现方式中，所述骨肿瘤检测模型确定候选预测区域及其对应的置信度的过程具体包括：

通过骨肿瘤检测模型确定若干特征图；

基于若干特征图确定所述膝关节X光图像对应的候选预测区域及其对应的置信度。

具体地，若干特征图均为骨肿瘤检测模型基于待识别的膝关节X光图像确定，携带有膝关节X光图像的图像信息，其中，若干特征图的图像尺寸互不相同，若干特征图中图像尺寸大的特征图对应大的骨肿瘤区域，图像尺寸小的特征图对应小的骨肿瘤区域。此外，每张特征图上均携带有候选预测框，每个候选预测框均携带有预测类别、预测框位置以及预测框的置信度。

在一个具体实现方式中，骨肿瘤检测模型可以采用yolov5卷积神经网络结构，yolov5卷积神经网络结构包含四种不同深度的网络结构，分别是yolov5s、yolov5m、yolov5l和yolov5x，可以采用四种不同深度的网络结构中的任意一种。在一个典型实现方式中，采用NVIDIA-SMI显卡在python3.8.5、torch1.7.1、tensorflow2.6.0环境中进行骨肿瘤检测模型训练，其中，骨肿瘤检测模型采用如图3所示的yolov5l网络结构作为初始网络模型，采用在COCO数据集上训练的yolov5l网络结构的模型参数作为初始模型参数，这样可以提高基于初始模型参数确定候选预测区域的准确性，从而可以提高骨肿瘤检测模型的训练速度。

使用五折交叉验证来分析模型性能，确保不同折之间没有数据重叠。训练验证数据集中的80％的训练数据用于模型训练，20％的训练数据用于模型验证，其中，训练的batch-size为16，初始网络模型的输入项的图像尺寸为1280*1280。所使用的SGD优化器的候选预测区域的区域位置信息损失函数为Complete-IoU Loss，区域分类信息的损失函数为BCEWithLogits Loss，置信度损失函数为Focal Loss；初始学习率为0.01。在学习率warm-up阶段，采用一维线性插值的学习率调整策略，在warm-up阶段之后，采用余弦退火学习率调整策略。此外，初始网络模型设定训练批数量为300epochs，并且最好的模型在通过每一个训练epoch在验证集上的性能来选择的，例如，将五折交叉验证得到的五个网络模型的recall指标乘0.5加mAP指标乘0.5的值进行比较，并将最大值对应的模型作为最好模型以用于下一训练批的训练。

在最后一训练批完成后，可以直接将最后一训练批训练得到的最好模型作为一个骨肿瘤检测模型，若干骨肿瘤检测模型中的每个骨肿瘤检测模型均单独训练得到。例如，将训练样本集划分为五分，每次训练时选取其中的一份作为验证集，其余四份作为训练集，那么经过五次训练可以得到5个骨肿瘤检测模型；或者是，将训练样本集划分为10分，之后每次采取一份一份作为验证集，其余九份作为训练集等。若干骨肿瘤检测模型的数量可以根据实际需求确定，这里不做限定。

在本实施例的一个实现方式中，用于训练骨肿瘤检测模型的预设训练样本集包括若干训练膝关节X光图像以及若干扩充训练膝关节X光图像，其中，扩充训练膝关节X光图像为基于训练膝关节X光图像以及正常膝关节X光图像生成的。也就是说，预设训练样本集包括直接采集到的具有骨肿瘤的膝关节X光图像以及合成的扩充训练膝关节X光图像，其中，扩充训练膝关节X光图像携带有骨肿瘤区域。

在一个实现方式中，如图2所示，所述扩充训练膝关节X光图像的生成过程具体包括：

获取正常膝关节X光图像，并通过经过训练的膝关节骨骼分割模型确定所述正常膝关节X光图像对应的膝关节骨骼分割图像；

在若干训练膝关节X光图像中选取一候选训练膝关节X光图像，将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。

具体地，所述正常膝关节X光图像为正常人的膝关节X光图像，换句话说，正常膝关节X光图像未携带骨肿瘤的膝关节X光图像，膝关节骨骼分割模型为经过训练的深度学习网络模型，膝关节骨骼分割模型用于对膝关节X光图像进行分割，得到膝关节X光图像中的膝关节骨骼区域，也就是说，通过膝关节骨骼分割模型可以在膝关节X光图像中标注出膝关节骨区域。由此，所述膝关节骨骼分割图像为携带有膝关节骨骼区域标注的膝关节X光图像。

训练膝关节X光图像为骨肿瘤患者的膝关节X光图像，并且各训练膝关节X光图像均标注骨肿瘤区域，也就是说，各个训练膝关节X光图像中的骨肿瘤区域均被勾画出来。其中，若干训练膝关节X光图像中各训练膝关节X光图像各自对应的骨肿瘤患者互不相同。例如，选200例骨肿瘤患者的膝关节X光图像，以得到200张训练膝关节X光图像。此外，候选训练膝关节X光图像可以通过随机选取的方式选取得到的，或者是，根据若干训练膝关节X光图像各自对应的被选取次数所确定的，例如，选取被选取次数最少的训练膝关节X光图像作为候选训练膝关节X光图像，其中，当被选取次数最少的训练膝关节X光图像存在多个时时，可以采用随机选取的方式在被选取次数最少的训练膝关节X光图像中选取一个训练膝关节X光图像作为候选训练膝关节X光图像等。

在获取到候选训练膝关节X光图像中，截取训练膝关节X光图像中标注的骨肿瘤区域，并将骨肿瘤区域粘贴于正常膝关节X光图像中，以得到扩充膝关节X光图像。其中，在将骨肿瘤区域粘贴至正常膝关节X光图像时，会确定骨肿瘤区域在候选训练膝关节X光图像中的区域位置信息；按照所述区域位置信息将骨肿瘤区域粘贴于正常膝关节X光图像，以骨肿瘤区域在膝关节X光图像中的位置与其对应的候选训练膝关节X光图像中的位置相匹配。本实施例通过采用将训练膝关节X光图像中的骨肿瘤区域粘贴至正常膝关节X光图像的方式来对训练样本集进行扩充，这样一方面可以减少标注训练训练膝关节X光图像所花费的时间，另一方面可以避免因携带有骨肿瘤的训练膝关节X光图像的数量少，而导致的训练样本不均衡的问题。

在本实施例的一个实现方式中，为了提供预设训练样本集的多样性，在将骨肿瘤区域粘贴于正常膝关节X光图像时，可以对骨肿瘤区域进行调整。由此，所述将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像具体为：对所述候选训练膝关节X光图像中的骨肿瘤区域进行调整，并将调整后的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。其中，对所述候选训练膝关节X光图像中的骨肿瘤区域进行调整的调整方式可以为随机翻转和/或缩小等。也就是说，在对骨肿瘤区域进行调整，调整骨肿瘤区域的图形尺寸或者方向等，不改变骨肿瘤区域中的图像内容，这样在保留骨肿瘤区域的图像特征，使得骨肿瘤检测模型可以学习到骨肿瘤区域所携带的全部图像特征，进而提高骨肿瘤检测模型的训练速度。

S30、采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

具体地，各候选预测区域均为预测得到的膝关节X光图像中的骨肿瘤区域，而不同的骨肿瘤检测模型预测的候选预测区域在待识别的膝关节X光图像中的位置不同，并且各候选预测区域中可能会存在假阳性区域。从而，在获取到所有的候选预测区域后，可以对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。其中，骨肿瘤区域为通过本实施例提供的检测方法所检测到的病状区域。

在本实施例的一个实现方式中，所述采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域具体包括：

获取各候选预测区域的区域位置，其中，所述区域位置用于反映候选预测区域在膝关节X光图像上的位置信息；

基于各候选预测区域的区域位置以及置信度，对所有候选预测区域进行筛选，以得到骨肿瘤区域。

具体地，候选预测区域的区域位置用于反映候选预测区域在膝关节X光图像中的位置信息，其中，区域位置可以为候选预测区域的坐标信息，例如，区域位置包括区域中心点坐标、区域宽度及区域高度。在获取到各候选预测区域的区域位置后，在基于区域位置将各候选预测区域绘制于一张图像尺寸等于膝关节X光图像的图像尺寸的目标图像上，然后在基于各候选预测区域的置信度以及交并比，对目标图像上的各候选预测区域进行非极大抑制处理，以对各候选预测区域进行筛选，并将筛选得到的候选预测区域作为膝关节X光图像的骨肿瘤区域，其中，骨肿瘤区域的区域数量与膝关节X光图像所携带骨肿瘤病灶的数量相同，并且各骨肿瘤区域与各骨肿瘤病灶的一一对应。

所述非极大抑制处理的处理过程可以为：将目标图像中的所有候选预测区域按照置信度排序，并选取置信度最高的候选预测区域，遍历剩余的所有候选预测区域，将与置信度最高的候选预测区域的IOU值大于预设IOU阈值的候选预测区域删除；然后，在未被选取且未删除的预测候选区域中选取置信度最高的候选预测区域，并重复遍历剩余的所有候选预测区域，直至所有候选预测区别被处理(其中，被处理指的是被删除，或者被选取)，以得到待识别的膝关节X光图像对应的骨肿瘤区域

综上所述，本实施例提供了一种基于深度学习的膝关节骨肿瘤检测方法，所述方法获取待识别的膝关节X光图像；分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。本申请通过经过训练的骨肿瘤检测模型确定若干候选预测区域，然后在采用非极大抑制处理对若干候选预测区域进行处理得到骨肿瘤区域，这样可以提高骨肿瘤区域检测的准确性，减少临床上对骨肿瘤的漏诊。

基于上述基于深度学习的膝关节骨肿瘤检测方法，本实施例提供了一种基于深度学习的膝关节骨肿瘤检测装置，如图4所示，所述的装置包括：

获取模块100，用于获取待识别的膝关节X光图像；

确定模块200，用于将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；

处理模块300，用于采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

基于上述基于深度学习的膝关节骨肿瘤检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于深度学习的膝关节骨肿瘤检测方法中的步骤。

基于上述基于深度学习的膝关节骨肿瘤检测方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述的方法包括：

获取待识别的膝关节X光图像；

分别将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；

采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

2.根据权利要求1所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述若干骨肿瘤检测模型中的各骨肿瘤检测模型的模型结构相同，各骨肿瘤检测模型的模型参数为基于不同训练样本集训练得到的。

3.根据权利要求1所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域具体包括：

获取各候选预测区域的区域位置，其中，所述区域位置用于反映候选预测区域在膝关节X光图像上的位置信息；

基于各候选预测区域的区域位置以及置信度，对所有候选预测区域进行筛选，以得到骨肿瘤区域。

4.根据权利要求1所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述骨肿瘤检测模型确定候选预测区域及其对应的置信度的过程具体包括：

通过骨肿瘤检测模型确定若干特征图，其中，若干特征图中各特征图的图像尺寸互不相同；

基于若干特征图确定所述膝关节X光图像对应的候选预测区域及其对应的置信度。

5.根据权利要求1所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述骨肿瘤检测模型为基于预设训练样本集训练得到的，所述预设训练样本集包括若干训练膝关节X光图像以及若干扩充训练膝关节X光图像，其中，扩充训练膝关节X光图像为基于训练膝关节X光图像以及正常膝关节X光图像生成的。

6.根据权利要求5所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述扩充训练膝关节X光图像的生成过程具体包括：

获取正常膝关节X光图像，并通过经过训练的膝关节骨骼分割模型确定所述正常膝关节X光图像对应的膝关节骨骼分割图像；

在若干训练膝关节X光图像中选取一候选训练膝关节X光图像，将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。

7.根据权利要求6所述的基于深度学习的膝关节骨肿瘤检测方法，其特征在于，所述将所述候选训练膝关节X光图像中的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像具体为：

对所述候选训练膝关节X光图像中的骨肿瘤区域进行调整，并将调整后的骨肿瘤区域粘贴于所述正常膝关节X光图像，以得到扩充训练膝关节X光图像。

8.一种基于深度学习的膝关节骨肿瘤检测装置，其特征在于，所述的装置包括：

获取模块，用于获取待识别的膝关节X光图像；

确定模块，用于将所述膝关节X光图像输入若干骨肿瘤检测模型，通过各骨肿瘤检测模型确定所述膝关节X光图像对应的候选预测区域及其对应的置信度；

处理模块，用于采用非极大抑制处理对获取到的所有候选预测区域进行筛选，以得到骨肿瘤区域。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于深度学习的膝关节骨肿瘤检测方法中的步骤。

10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于深度学习的膝关节骨肿瘤检测方法中的步骤。

Images