CN113592820A - 一种股骨区域及关键点检测方法和系统 - Google Patents

Abstract

本申请实施例公开了一种股骨区域及关键点检测方法和系统，所述方法包括：对dicom股骨影像进行图像数据预处理，得到髋关节图像；在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。除了预测左右股骨区域外，还可以预测股骨区域内关键点，为计算股骨关键指标提供便捷准确的自动化方法。

Description

一种股骨区域及关键点检测方法和系统

技术领域

本申请实施例涉及人工智能医疗技术领域，具体涉及一种股骨区域及关键点检测方法和系统。

背景技术

髋关节置换术成为国内外常见的手术之一。随着人口老龄化问题的加重，手术人数将越来越多。在手术过程中，医生需要准确识别各个组织结构，以期匹配合适的假体。一旦出现主观判断错误，手术的结果将会受到严重影响。因此寻找安全准确识别并定位各个重要的关键点的方法至关重要。

针对股骨区域勾画和重要结构位置标记而言，医生在术前需要人工勾画重要结构关键点以辅助判断病患类型、患处长度等重要信息，以找到合适假体尺寸。目前，没有自动勾画区域及标记关键点的工具和方案。

发明内容

为此，本申请实施例提供一种股骨区域及关键点检测方法和系统，除了预测左右股骨区域外，还可以预测股骨区域内关键点，为计算股骨关键指标提供便捷准确的自动化方法。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种股骨区域及关键点检测方法，所述方法包括：

对dicom股骨影像进行图像数据预处理，得到髋关节图像；

在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

可选地，所述对dicom股骨影像进行图像数据预处理，得到髋关节图像，包括：

对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；

对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

可选地，所述在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集，包括：

在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；

将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

可选地，所述设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标，包括：

在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；

初始化超参数过程中，添加关键点loss的超参数；

修改yolo模型输出参数，将输出类别改为左右股骨两类。

可选地，所述建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型，包括：

按照如下公式计算区域检测和关键点检测的损失函数：

其中，损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失；p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；x′_ii、y_ii是样本i预测输出的坐标；λ₁、λ₂是正则化常数；

通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；

训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；

经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

根据本申请实施例的第二方面，提供了一种股骨区域及关键点检测系统，所述系统包括：

预处理模块，用于对dicom股骨影像进行图像数据预处理，得到髋关节图像；

数据集标记模块，用于在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

参数设置模块，用于设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

Yolo模型改进模块，用于建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

股骨区域及关键点模块，用于将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

可选地，所述预处理模块，具体用于：

对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；

对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

可选地，所述数据集标记模块，具体用于：在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；

将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

可选地，所述参数设置模块，具体用于：

在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；

初始化超参数过程中，添加关键点loss的超参数；

修改yolo模型输出参数，将输出类别改为左右股骨两类。

可选地，所述Yolo模型改进模块，具体用于：

按照如下公式计算区域检测和关键点检测的损失函数：

其中，损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失；p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；x′_ii、y_ii是样本i预测输出的坐标；λ₁、λ₂是正则化常数；

通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；

训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；

经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。

综上所述，本申请实施例提供了一种股骨区域及关键点检测方法和系统，通过对dicom股骨影像进行图像数据预处理，得到髋关节图像；在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。除了预测左右股骨区域外，还可以预测股骨区域内关键点，为计算股骨关键指标提供便捷准确的自动化方法。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本申请实施例提供的一种股骨区域及关键点检测方法流程示意图；

图2为本申请实施例提供的左右股骨检测和关键点检测流程图；

图3为本申请实施例提供的模型训练的各类指标示意图；

图4为本申请实施例提供的股骨区域及关键点检测系统框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

人类视觉系统快速且精准，只需瞄一眼(You Only Look Once，YOLO)即可识别图像中物品及其位置。

针对目标检测任务而言，YOLO模型可实现快速检测目标区域，但是对于区域内的某关键点位置不能很好的输出。此外，受图像对比度、图像拍摄位置等多种因素影响，即使定位到股骨区域后，使用传统的图像处理方法也很难定位股骨区域内的关键点。

随着人工智能的发展，研究自动检测股骨区域并准确识别关键点的方法，寻找一种自动化的方案来减轻医生的工作强度，降低医生主观判断的错误率，具有很高的临床意义和价值。

图1示出了本申请实施例提供的股骨区域及关键点检测方法，可以预测左右股骨区域和股骨区域内关键点，为计算股骨关键指标提供自动化方法。所述方法包括：

步骤101：对dicom股骨影像进行图像数据预处理，得到髋关节图像；

步骤102：在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

步骤103：设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

步骤104：建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

步骤105：将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

在一种可能的实施方式中，在步骤101中，所述对dicom股骨影像进行图像数据预处理，得到髋关节图像，包括：对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

在一种可能的实施方式中，在步骤102中，所述在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集，包括：在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

在一种可能的实施方式中，在步骤105中，所述设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标，包括：

在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；初始化超参数过程中，添加关键点loss的超参数，将超参数设置为0.5；修改yolo模型输出参数，将输出类别改为左右股骨两类。

在一种可能的实施方式中，所述建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型，包括：

按照如下公式(1)计算区域检测和关键点检测的损失函数：

其中，损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失；p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；x′_ii、y_ii是样本i预测输出的坐标；λ₁、λ₂是正则化常数；

通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

本申请实施例在YOLO检测股骨区域的基础上，增加了关键点检测。不仅能准确定位股骨区域，还可以定位股骨区域内的重要关键点，既保证的检测速度，还保证了准确率，为后续计算测量提供了重要参考。不过多依赖阈值，可快速准确实现对股骨区域检测和关键点检测。本申请实施例提供的股骨区域及关键点检测方法还对YOLO网络结构、训练特征图和损失函数进行优化，使其在不同类型的影像上面提取关键点位置更加准确。在关键点对比不明显，对比度较低的情况下，比传统提取关键点的方法具有更高的准确率。

图2示出了本申请实施例提供的左右股骨检测和关键点检测流程示意图。在实施例中，具体可以包括步骤：

S1、获取dicom股骨影像以及对不同图像数据预处理，得到髋关节jpg格式图像；

S2、标记股骨左右区域的坐标点，同时标记关键点坐标，进一步转化为yolo所需的数据集；

S3、设计模型训练前参数，使其加载区域检测位置的同时，加载关键点坐标；

S4、建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，获取改进的yolo模型。

S5、自动获取左右股骨区域和关键点。

本申请实施例的第一个目的是获取dicom股骨影像以及对不同图像数据预处理，得到jpg格式图像。

实现本申请实施例第一个目的的技术方案是：

S11：下肢髋关节AP位X光片的图像预处理：将髋关节X光dicom原始图按一定的窗宽窗位调整，使各个像素点灰度值归一化至[0,255]范围内，转换成图片JPG格式，获得髋关节图片；

S12：双下肢全长X线片的图像预处理：由于全长片的图像较长，按照S11处理方法后，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

本申请实施例的第二个目的是：标记股骨左右区域的坐标点，同时标记关键点坐标，进一步转化为yolo模型所需的数据集；

S21：将S1获取的jpg图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点。在标注过程中，需要将关键点的数量固定下来，否则模型无法训练可变的关键点数量。这样在训练数据输入固定的情况下，输出也是固定的。因此通过这种条件的约束，实现模型可学习，可训练，从而达到最大限度的准确性。

S22：样本归一化：对标注好的左右股骨区域和关键点坐标都要除以原图宽高大小将图像原始坐标转化为归一化坐标，得到模型所需的数据集。

本申请实施例的第三个目的是：设计模型训练前的参数。图3示出了模型训练的各类指标。

实现本申请实施例第三个目的的技术方案是：

S31：在加载数据过程中，将S22标注好的数据和标签生成模型所需要的数据格式。在区域检测坐标后面添加归一化后关键点坐标。为模型提供数据回归检测和关键点检测的数据。最终模型加载前的数据格式为(class,x,y,w,h,x1,y1,x2,y2,x3,y3,x4,y4,x5,y5)。关键点需要可区分且内在有序。因此在模型输入前，将这些关键点按照一定的顺序输入，并且保证点与点之间的顺序，否则模型无法学习到任何参数信息。在加载数据的时候，首先是数据的类型，即左侧股骨，还是右侧股骨；然后加载区域左上点坐标和区域的宽高长度，最后是关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着就是股骨髓腔四点。

S32：初始化超参数过程中，添加关键点loss的超参数，将超参数设置为0.5。

S33：修改模型输出参数，将输出类别改为左右股骨两类。

本申请实施例的第四个目的是：建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，获取带有检测股骨区域和关键点的yolo模型。

实现本申请实施例第四个目的的技术方案是：

S41：设计区域检测和关键点检测的损失函数按照公式(1)。其中：损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失。p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；x′_ii、y_ij是样本i预测输出的坐标；λ₁、λ₂是正则化常数，通常λ₁＝1，λ₂＝0.5；

S42：设计关键点回归计算方法。在前向传播过程中，将新增加的关键点作为回归计算的参数，添加关键点计算方法。

S43：训练过程中。对数据进行打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化。经过多轮训练后，使其loss收敛并且达到最小化，获取各种训练指标最好的YOLO模型。此时，YOLO模型就具备检测区域和关键点的能力。

本申请实施例的第五个目的是：自动获取左右股骨区域和关键点。

实现本申请实施例第五个目的的技术方案是：

S51、从S43获取的模型，将S1预处理的图像作为输入，经过S43的模型，获取最终的输出结果；

S52、根据S51的结果，按照归一化方法，将归一化的坐标还原到原图位置。按照区域坐标和关键点坐标，将还原后的坐标画在原图中，此时就可以查看左右股骨区域和关键点坐标。

在实际的应用中，通过本申请实施例提供的方法，测试了300个病例，600个左右股骨，最后取得了99.17％的准确率。因此，本申请实施例提供的方法对大多数的股骨区域检测和关键点检测，判断行之有效，并且可实现自动检测，极大了提高了医生工作效率。

本申请实施例在YOLO检测股骨区域的基础上，增加了关键点检测。不仅能准确定位股骨区域，还可以定位股骨区域内的重要关键点，既保证的检测速度，还保证了准确率，为后续计算测量提供了重要参考。不过多依赖阈值，可快速准确实现对股骨区域检测和关键点检测。

传统算法需要调整不同的阈值去适应多变的场景，并且需要依赖过多的规则设计才能找到某区域的关键点。与传统算法相比，本申请实施例提供的股骨区域及关键点检测方法减少了大量人工设置的干预。

本申请实施例提供的股骨区域及关键点检测方法还对YOLO网络结构、训练特征图和损失函数进行优化，使其在不同类型的影像上面提取关键点位置更加准确。在关键点对比不明显，对比度较低的情况下，比传统提取关键点的方法具有更高的准确率。

综上所述，本申请实施例提供了一种股骨区域及关键点检测方法，通过对dicom股骨影像进行图像数据预处理，得到髋关节图像；在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。除了预测左右股骨区域外，还可以预测股骨区域内关键点，为计算股骨关键指标提供便捷准确的自动化方法。

基于相同的技术构思，本申请实施例还提供了一种股骨区域及关键点检测系统，如图4所示，所述系统包括：

预处理模块401，用于对dicom股骨影像进行图像数据预处理，得到髋关节图像；

数据集标记模块402，用于在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

参数设置模块403，用于设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

Yolo模型改进模块404，用于建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

股骨区域及关键点模块405，用于将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

在一种可能的实施方式中，所述预处理模块401，具体用于：对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

在一种可能的实施方式中，所述数据集标记模块402，具体用于：在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

在一种可能的实施方式中，所述参数设置模块403，具体用于：在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；初始化超参数过程中，添加关键点loss的超参数，将超参数设置为0.5；修改yolo模型输出参数，将输出类别改为左右股骨两类。

在一种可能的实施方式中，所述Yolo模型改进模块404，具体用于：按照公式(1)计算区域检测和关键点检测的损失函数。通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种股骨区域及关键点检测方法，其特征在于，所述方法包括：

对dicom股骨影像进行图像数据预处理，得到髋关节图像；

在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

2.如权利要求1所述的方法，其特征在于，所述对dicom股骨影像进行图像数据预处理，得到髋关节图像，包括：

对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；

对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

3.如权利要求1所述的方法，其特征在于，所述在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集，包括：

在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；

将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

4.如权利要求1所述的方法，其特征在于，所述设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标，包括：

在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；

初始化超参数过程中，添加关键点loss的超参数；

修改yolo模型输出参数，将输出类别改为左右股骨两类。

5.如权利要求1所述的方法，其特征在于，所述建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型，包括：

按照如下公式计算区域检测和关键点检测的损失函数：

其中，损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失；p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；

y′_ii是样本i预测输出的坐标；λ₁、λ₂是正则化常数；

通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；

训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；

经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

6.一种股骨区域及关键点检测系统，其特征在于，所述系统包括：

预处理模块，用于对dicom股骨影像进行图像数据预处理，得到髋关节图像；

数据集标记模块，用于在所述髋关节图像中标记股骨左右区域的坐标点和关键点坐标，并归一化处理为yolo模型所需的数据集；

参数设置模块，用于设定yolo模型训练前参数，以使得加载区域检测位置的同时加载关键点坐标；

Yolo模型改进模块，用于建立区域检测和关键点检测的损失函数，通过梯度下降法，使损失函数最小化，得到改进的yolo模型；

股骨区域及关键点模块，用于将预处理的图像输入所述改进的yolo模型，将归一化后的坐标还原到原图位置；按照区域坐标和关键点坐标，将还原后的坐标画在原图中，得到左右股骨区域和关键点。

7.如权利要求6所述的系统，其特征在于，所述预处理模块，具体用于：

对下肢髋关节AP位X光片的图像进行预处理，将髋关节X光dicom原始图按设定的窗宽窗位调整，使各个像素点灰度值归一化至0到255的范围内，再转换成JPG格式图片，以获得髋关节图片；

对双下肢全长X线片的图像进行预处理，将全长片影像进行裁剪，获取带有髋关节影像区域的图片。

8.如权利要求6所述的系统，其特征在于，所述数据集标记模块，具体用于：在所述髋关节图像标注股骨区域的左上顶点和右下点，同时标注股骨区域内的小转子和股骨髓腔关键点；在标注过程中保持关键点的数量不变；

将标注好的左右股骨区域和关键点坐标除以原图宽高大小，将图像原始坐标转化为归一化坐标，得到yolo模型所需的数据集。

9.如权利要求6所述的系统，其特征在于，所述参数设置模块，具体用于：

在加载区域检测位置数据过程中，将标注好的数据和标签转换为yolo模型所需要的数据格式；在区域检测坐标后面添加归一化后关键点坐标，为模型提供数据回归检测和关键点检测的数据；所述加载区域检测位置数据的顺序为数据的类型，数据的类型包括左侧股骨和右侧股骨、再加载区域左上点坐标和区域的宽高长度，再加载关键点坐标，其中关键点的顺序是把小转子关键点作为第一个点，接着是股骨髓腔四点；

初始化超参数过程中，添加关键点loss的超参数；

修改yolo模型输出参数，将输出类别改为左右股骨两类。

10.如权利要求6所述的系统，其特征在于，所述Yolo模型改进模块，具体用于：

按照如下公式计算区域检测和关键点检测的损失函数：

其中，损失函数包括两部分，一部分是对股骨区域的回归损失，另一部分是对股骨关键点的损失；p_i是样本i的概率；x_iy_i是样本i的坐标；i是网格单元相关联的标签；P′_i是样本i预测输出的概率；

y′_ii是样本i预测输出的坐标；λ₁、λ₂是正则化常数；

通过关键点回归计算方法，在前向传播过程中，将新增加的关键点作为回归计算的参数；

训练过程中，将数据打散，划分最小训练区域，通过随机梯度下降法训练损失函数，使其最小化；

经过若干轮训练后，使其loss收敛并且达到最小化，确定出各种训练指标最佳的yolo模型。

Images