CN109816721A - 图像定位方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像定位方法、装置、设备及存储介质，其中，方法包括：获取医学图像；将所述医学图像输入图像定位模型，得到目标区域定位结果。本发明采用图像定位模型对医学图像中目标区域的自动定位，不仅可以帮助医生快速、精准地确定目标区域的位置，也为进一步使用计算机分析目标区域的形态提供了技术基础。

Description

图像定位方法、装置、设备及存储介质

技术领域

本发明涉及骨龄检测技术领域，具体涉及一种基于深度学习的图像定位方法、装置、设备及存储介质。

背景技术

“骨龄”是骨骼年龄的简称，是青少年儿童骨骼发育水平同骨发育标准比较而得出的发育年龄。骨发育过程中，首先骨化的部位称为骨化中心。骨化从此处开始,然后逐渐扩大,最后完成全部骨化。在将要形成骨的部位，间充质细胞增殖、密集成膜状，其中某处的间充质细胞先分化为骨祖细胞，进而分化为成骨细胞，成骨细胞在此成骨，于是形成最早的骨组织，该部位成为骨化中心。一般情况下，1～9岁腕部骨化中心数目约为小儿岁数+1，10岁出齐。

临床上，医生在分析儿童骨龄X光片时，需要确定骨化中心出现的个数、根据已出现骨化中心的位置分析骨化中心的形态以及判断骨骺线是否闭合等，最终给出骨龄预测值。目前尚未有专门针对儿童骨龄X光片中骨化中心定位的方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种图像定位方法，包括：

获取医学图像；

将所述医学图像输入图像定位模型，得到目标区域定位结果。

本发明第二方面提供一种图像定位装置，包括：

图像获取模块，用于获取医学图像；

图像定位模块，用于将所述医学图像输入图像定位模型，得到目标区域定位结果。

本发明第三方面提供一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明第一方面提出的图像定位方法。

本发明第四方面提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面提出的图像定位方法。

本发明实施例具有以下有益效果：

本发明实施例采用图像定位模型对医学图像中目标区域的自动定位，不仅可以帮助医生快速、精准地确定目标区域的位置，也为进一步使用计算机分析目标区域的形态提供了技术基础。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的图像定位方法的流程图；

图2是本发明实施例提供的骨龄X光图像；

图3是本发明实施例提供的图像定位方法的流程图；

图4是步骤S202的流程图；

图5是步骤S202的原理图；

图6是步骤S2021的原理图

图7是步骤S2022的原理图；

图8是步骤S2023的原理图；

图9是步骤S202的流程图；

图10是本发明实施例提供的腕骨感兴趣区域图像插值放大前后的对比图；

图11是本发明实施例提供的图像分割模型的原理图；

图12是本发明实施例提供的图像预处理流程示意图；

图13是本发明实施例提供的图像定位装置的结构框图；

图14是本发明实施例提供的图像定位模块的结构框图；

图15是本发明实施例提供的图像定位模块的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

实施例

图1是本发明实施例提供的图像定位方法的流程图，请参照图1，本实施例提供的图像定位方法包括如下步骤：

S101：获取医学图像；

具体地，医学图像可以采取的形式包括但不限于X光图像、CT图像、MR图像和超声图像。

具体地，医学图像可以是骨龄图像，根据实际需要，医学图像还可以是其他被检测组织的图像，本实施例不以此为限。

S102：将所述医学图像输入图像定位模型，得到目标区域定位结果。

具体地，在医学图像为骨龄图像时，目标区域包括指掌骨继发骨化中心和/或腕骨区群原生骨化中心，图像定位模型能够输出骨化中心检测点的位置。

图2是本发明实施例提供的骨龄X光图像，请参照图2，该图像是使用X光成像设备获取的患者左手腕X光影像，图像中的22个白色点分别代表需要定位的22个骨化中心位置点，可分为两大类。

详细地，各骨化中心位置点的名称与编号如下：远节指骨I 1、近节指骨I 2、指掌骨I 3、远节指骨III 4、中节指骨III 5、近节指骨III 6、指掌骨III 7、远节指骨V 8、中节指骨V 9、近节指骨V 10、指掌骨V 11、尺骨末端12、桡骨末端13；14-22以腕骨区群原生骨化中心区域中心逆时针方向依次：头状骨、钩骨、三角骨、月骨、舟骨、大多角骨、小多角骨、尺骨、桡骨。

第一类是指掌骨继发骨化中心，不同年龄段的均存在该类骨化中心位置点。该类骨化中心共计13处，其位置用各骨头远端靠近关节的位置表示，在图1示出的白色点1-13中，白色点1、2、3、4、5、6、8、9、10下方分别为与其对应的骨化中心区域，白色点7、11、12、13上方分别为与其对应的骨化中心区域。

第二类是腕骨区群原生骨化中心，该类骨化中心通常到一定的年龄才会出现，并且随着年龄的增长形态将发生较大变化。该类骨化中心共计9处，由图1示出的白色点14-22可知，该类骨化中心的位置用骨头的几何中心表示。基于上述对应关系，由白色点14-22的位置可以反推出对应的骨化中心区域的位置。

图3是本发明实施例提供的图像定位方法的流程图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图3，该实施例中，医学图像具体为骨龄X光图像、图像定位模型具体为骨化中心定位模型，图像定位方法包括如下步骤：

S201：获取骨龄X光图像；

S202：将骨龄X光图像输入骨化中心定位模型进行骨化中心检测，得到骨化中心检测点位置；其中，骨化中心定位模型用于定位骨龄X光图像中的指掌骨继发骨化中心，以及根据定位出的指掌骨继发骨化中心定位骨龄X光图像中的腕骨区群原生骨化中心。

在一个实施例中，骨化中心定位模型为两级级联形式的全卷积检测网络，该模型能够对不同类型的骨化中心进行分别处理。其中，第一级检测网络用于检测指掌骨继发骨化中心点，第二级检测网络用于基于第一级检测网络的输出结果检测腕骨区群原生骨化中心点，第一级检测网络的输出结果用于提取和限制第二级检测网络的搜索范围。

腕骨区群原生骨化中心主要集中在手腕部，不同年龄的儿童其腕骨区群原生骨化中心出现个数不尽相同，与指掌骨继发骨化中心相比检测难度较大，采用两级级联形式的全卷积检测网络时能够对这类骨化中心进行单独检测，检测效果更好、检测性能更鲁棒且更节省检测时间。

需要指出的是，上述两级级联形式的全卷积检测网络仅仅是骨化中心定位模型的一个较佳的实施例，不应理解为对本实施例保护范围的限制。在实际应用中，骨化中心定位模型还可以具有两个以上的检测网络，多个检测网络之间可以是级联的形式，还可以是并联、串联等形式。

图4是步骤S202的流程图，图5是步骤S202的原理图，请参照图4和图5，在上述实施例中步骤S202包括如下子步骤：

S2021：将骨龄X光图像输入第一级检测网络进行指掌骨继发骨化中心检测，得到骨龄X光图像对应的指掌骨继发骨化中心检测点的位置；

可选地，第一级检测网络可以是U-Net卷积神经网络，还可以是V-NET，VGG，ResNet，DenseNet等卷积神经网络。

优选地，对传统的U-net模型的网络结构进行改进，改进的U-Net检测网络将传统U-Net中包含的每一个上采样或下采样模块，加入残差结构，以达到加速训练的目的。

图6是步骤S2021的原理图，请参照图6，U-Net模型需要检测出13个骨化中心，因此U-Net的输出具有13个通道，每个通道里，概率值最高的点，对应的就是网络检测到的骨化中心检测点，该骨化中心检测点所对应的坐标就是关键点的坐标。并且训练网络时，标签就是总共13个通道的图像块，每个通道对应一个关键点，该通道所对应的是一个在该关键点位置灰度值为1其余为0的图像。

具体地，U-Net模型以Focal loss作为损失函数，以线性整流函数ReLU作为激活函数，采用可以自适应调整学习率的Adam优化器对网络参数进行训练，最终得到指掌骨继发骨化中心的关键点检测模型。

图7是步骤S2022的原理图，图8是步骤S2023的原理图。

S2022：根据指掌骨继发骨化中心检测点的位置生成腕骨感兴趣区域的边界框，截取边界框内对应的腕骨感兴趣区域图像，将腕骨区群原生骨化中心所在的腕骨区提取出来，这样可以避免在全局图像上检测腕骨区群原生骨化中心点，能够让第二级检测网络专注于这一区域，还可以提升腕骨区群原生骨化中心的检测性能。

S2023：将腕骨感兴趣区域图像输入第二级检测网络，基于腕骨感兴趣区域图像进行腕骨区群原生骨化中心检测，得到腕骨感兴趣区域图像对应的腕骨区群原生骨化中心检测点位置。

其中，第二级检测网络可以是U-Net卷积神经网络，还可以是V-NET，VGG，ResNet，DenseNet等卷积神经网络。

值得注意的是，对于大多数习惯使用右手的人来说，其左手的骨骼磨损程度相对较小，因此在判断骨龄时通常采集其左手的X光图像。对于少部分习惯使用左手的人来说，其右手的磨损程度相对较小，用于判断骨龄时通常采集其右手的X光图像。

在一个实施例中，骨化中心定位模型是以左手位为标准进行骨化中心定位的，在输入骨化中心定位模型的手部X光图片可能是左手也可能是右手时，就有必要对X光图像的左右手信息进行区分，以使得数据更统一、以及提升检测性能。为实现上述目的，步骤S2022之前还包括如下子步骤：

根据指掌骨继发骨化中心检测点的位置判断骨龄X光图像是否为左手图像；

若否，则将骨龄X光图像翻转成左手图像。

具体地，上述根据指掌骨继发骨化中心检测点的位置判断骨龄X光图像是否为左手图像的步骤，包括如下子步骤：

从指掌骨继发骨化中心检测点的位置中提取至少一个检测点的位置；

根据所述至少一个检测点的位置判断X光图像是否为左手位图像/右手位图像。

在一个优选地实施例中，从指掌骨继发骨化中心检测点的位置中获取指掌骨I 3的检测点位置和指掌骨V 11的检测点位置；判断指掌骨I 3的检测点位置是否位于指掌骨V11的检测点位置的右侧。该实施例中，X光图像为左手图像或右手图像的判断依据是：指掌骨I 3骨化中心位于大拇指近关节处，指掌骨V 11骨化中心位于小拇指近关节处，而左手图像大拇指关节通常位于小拇指关节的右侧。也就是说，在指掌骨I 3的检测点位置位于指掌骨V 11的检测点位置的右侧时，可以确定骨龄X光图像为左手图像；在指掌骨I 3的检测点位置位于指掌骨V 11的检测点位置的左侧时，可以确定骨龄X光图像为右手图像。

请继续参照图2，在一个实施例中，提取位于小指上的远节指骨V 8、中节指骨V 9、近节指骨V 10、指掌骨V 11的检测点位置以及位于拇指上的远节指骨I 1、近节指骨I 2的检测点位置，根据骨化中心的数量确定小指和拇指所在位置，然后根据小指和拇指的位置关系判断图像是左手位或右手位。

请继续参照图2，在一个实施例中，获取X光图片最左侧手指上的骨化中心检测点个数，根据骨化中心检测点个数确定该手指为小指还是拇指，根据小指/拇指与手的位置关系判断X光图像是左手位或右手位。例如，在检测点个数为4个时，确定该手指为小指，左手为图像中小指位于最左侧，那么就能够确定当前图像是左手位图像。基于与该实施例相同的发明构思，还可以通过X光图像最右侧手指上的骨化中心检测点个数来判断X光图像是否为左手位/右手位图像。

请继续参照图2，在一个实施例中，提取指掌骨I 3的检测点位置，根据指掌骨I 3的检测点位置可以得到拇指在X光图片中的位置，进而确定X光图像是左手位图像还是右手位图像。例如，指掌骨I 3的检测点位置位于X光图像的右侧时，可以确定拇指位于X光图像的右侧，进而可以确定X光图像为左手位图像。

基于与上述实施例相同的发明构思，部分指掌骨继发骨化中心检测点设置方案如下：方案1：检测点位置为指掌骨I 3的检测点位置；方案2：检测点位置为指掌骨V 11的检测点位置；方案3：检测点位置为指掌骨V 11、尺骨末端12以及桡骨末端13的检测点位置；方案4：检测点位置为近节指骨I 2、尺骨末端12以及桡骨末端13的检测点位置，等等，在此不一一列举。需要指出的是，上述实施例仅用于对如何判断左手图像进行说明，不应视为对本实施例保护范围的限制。

在一个实施例中，骨化中心定位模型是以右手位为标准进行骨化中心定位的，在输入骨化中心定位模型的手部X光图片可能是左手也可能是右手时，就有必要对X光图像的左右手信息进行区分。为实现上述目的，步骤S2022之前还包括如下子步骤：

根据指掌骨继发骨化中心检测点的位置判断骨龄X光图像是否为右手图像；若否，则将骨龄X光图像翻转成左手图像。其中，右手图像的判断依据可参照前述左手图像的判断依据，此处不再赘述。

在一个实施例中，用于训练骨化中心定位模型的数据全部为左手位图像或全部为右手位图像，在训练时随机对图像进行水平翻转，使得该训练数据既有左手图像，也有右手图像。训练好的骨化中心定位模型既能够处理左手位的骨龄X光图像，也能够处理右手位的骨龄X光图像。在该实施例中，输入骨化中心定位模型的骨龄X光图像既可以是左手图像，也可以是右手图像。

具体地，对训练数据集中的每张图像来说进行水平翻转的概率是P，不进行水平翻转的概率是1-P，优选地，P＝50％；由于对图片翻转的过程是随机的，因此，用于训练的图像中左手图像和右手图像的数量不一定是相等的。需要指出的是，对每张图像进行水平翻转的概率P还可以根据实际需要取其他值，本实施例不以此为限。

在一个优选地实施例中，步骤S2022包括如下子步骤：

从指掌骨继发骨化中心检测点的位置中获取指掌骨I 3的检测点位置、尺骨末端12的检测点位置和桡骨末端13的检测点位置；

根据指掌骨I 3的检测点位置、尺骨末端12的检测点位置和桡骨末端13的检测点位置构建边界框。

请继续参照图7，边界框的形状为矩形，矩形的右上顶点位于指掌骨I 3的检测点位置，矩形的左下顶点、尺骨末端12的检测点位置和桡骨末端13的检测点位置在同一条直线上，矩形的左下顶点位于尺骨末端12的检测点位置的左侧，且矩形的左下顶点与尺骨末端12的检测点位置之间间隔预设距离(例如，50像素)。在一个具体地示例中，边界框是一个高为500像素，宽为600像素的矩形。需要指出的是，上述边界框的确定依据及尺寸是本实施例的一种较佳的实施方式，边界框的尺寸大小也可以是其他值。

请继续参照图2，在一个实施例中，从指掌骨继发骨化中心检测点的位置中提取指掌骨III 7的检测点位置，然后，根据指掌骨III 7的检测点位置按照预设条件构建腕骨感兴趣区域。

可选地，预设条件包括指掌骨III 7的检测点位置与边界框的位置关系以及边界框尺寸与手掌图像尺寸的比值关系或边界框尺寸；优选地，指掌骨III 7的检测点位置位于边界框顶边的中点处，边界框的面积大小为手掌图像的一半。

需要指出的是，上述预设条件的示例仅用于对本实施例的进行说明，不应视为对本实施例保护范围的限制，在实际应用中，上述指掌骨III 7的检测点位置与边界框的相对位置关系可以不同于上述相对位置关系，边界框与手掌图像的比值也可以取其他值。

请继续参照图2，在一个实施例中，还可以设置尺骨末端12、桡骨末端13为边界框定位点，尺骨末端12、桡骨末端13用于确定边界框的底边位置。在边界框的底边确定之后，根据手掌图像的尺寸以及边界框的尺寸与手掌图像的尺寸的比值关系确定边界框的尺寸。

请继续参照图2，在一个实施例中，还可以设置尺骨末端12、桡骨末端13为边界框定位点，尺骨末端12、桡骨末端13用于确定边界框的底边位置。在边界框的底边确定之后，根据边界框的左侧边与尺骨末端12之间的预设距离(例如50像素)、边界框的右侧边与桡骨末端13之间的预设距离(例如100像素)以及根据边界框顶边与底边的距离与尺骨末端12、桡骨末端13之间的距离的比值确定边界框的尺寸，并生成边界框。

请继续参照图2，在一个实施例中，还可以设置指掌骨V 11为边界框定位点，指掌骨V 11用于确定边界框的左上顶点。边界框的尺寸取值可以参见前述实施例，此处不再详述。

基于与上述实施例相同的发明构思，部分边界框定位点设置方案如下：方案1：边界框定位点为指掌骨I 3；方案2：边界框定位点为近节指骨I 2、指掌骨V 11、桡骨末端13；方案3：边界框定位点为指掌骨V 11、尺骨末端12、桡骨末端13；方案4：边界框定位点为指掌骨III 7、尺骨末端12、桡骨末端13，等等，在此不一一列举。

具体来说，由于所有骨龄X光图像均存在指掌骨继发骨化中心，并且该类骨化中心的分布区域广，因而可以在较低分辨率的图像上进行定位，减少时间和显存的消耗。而腕骨区群原生骨化中心在一定年龄才会出现，并且随着年龄增长形态也会发生较大变化，与指掌骨继发骨化中心相比检测难度较大。为解决该问题，图9是步骤S202的流程图，请参照图9，在一个实施例中，使用更高分辨率的X光图像数据进行腕骨区群原生骨化中心检测，步骤S2023之前还包括如下步骤：

S202X：对腕骨感兴趣区域图像进行插值放大，得到插值后的腕骨感兴趣区域图像；插值后的腕骨感兴趣区域图像的分辨率高于腕骨感兴趣区域图像的分辨率。插值算法可以采用最近邻插值算法、双线性插值算法、三线性插值算法，也可以根据实际需要采用其他插值算法等等。

图10是本发明实施例提供的腕骨感兴趣区域图像插值放大前后的对比图，请参照图10，图中左侧图像为插值放大前的腕骨感兴趣区域图像，大小为256像素×256像素，图中右侧图像为插值放大后的腕骨感兴趣区域图像，大小为512像素×512像素。较高分辨率的图像对于细节的呈现更加明显，便于小骨化中心(图中箭头指向的骨化中心)的检测。

具体地，骨化中心定位模型是基于骨龄X光样本图像以及相应的指掌骨继发骨化中心标签和腕骨区群原生骨化中心标签进行机器学习训练得到的；骨化中心检测点位置包括指掌骨继发骨化中心检测点位置；或者，骨化中心检测点位置包括指掌骨继发骨化中心检测点位置和腕骨区群原生骨化中心检测点位置。

优选地，骨化中心定位模型是基于骨龄X光样本图像以及相应的指掌骨继发骨化中心标签和腕骨区群原生骨化中心标签进行深度学习训练得到的。

在一个实施例中，训练骨化中心定位模型所使用的数据集中，以上两类骨化中心的位置点均由专业人士在原始图像上进行手工标注。

在一个实施例中，步骤S201之前还包括对骨龄X光图像进行预处理的步骤，该步骤包括如下子步骤：

利用图像分割模型提取X光图像中的手部区域；

基于手部区域的分割结果，利用主成分分析法，可以计算出手部区域的旋转角度，因此基于此旋转角度，可将所有的手部旋转为正位；

利用图像重心计算方法，将手部区域移动到图像中心并调整所有手部区域至相同尺寸，如1024*1024或者根据需要设置的其他尺寸；

仅针对手部区域进行直方图匹配、白化等操作，使图像的灰度为(-1，1)区间内的标准图像。

图11是本发明实施例提供的图像分割模型的原理图，图12是本发明实施例提供的图像预处理流程示意图，请参照图11和图12，对骨龄X光图像的预处理操作包括手掌区域自动分割、图像归一化以及手掌摆放角度和位置正位等，通过对图像进行预处理操作能有效去除手掌外无关信息影响、去除背景噪声，大大提高骨化中心检测系统的鲁棒性和泛化性。

可选的，该图像分割模型是利用全卷积神经网络训练得到的；

详细地，全卷积神经网络可以是U-Net卷积神经网络，还可以是V-NET，VGG，ResNet，DenseNet等卷积神经网络。

详细地，上述手部区域的分割结果中灰度值为0表示背景，灰度值为1表示手部区域；

可选地，手部区域的旋转角度是以垂直方向为参考方向得到的。

将手部区域从X光图像中提取出来，不仅可以去除掉背景、标签等无关信息，降低检测网络的假阳性率，还可以有效地对手掌区域的图像灰度范围进行统一，标准化手掌的摆放角度和位置，使得检测网络的结果更加精确。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。此外，还可对上述实施例进行任意组合，得到其他的实施例。

基于与上述实施例中的图像定位方法相同的思想，本发明还提供了一种图像定位装置，该系统可用于执行上述图像定位方法。在一个实施例中，图像定位装置包括：

图像获取模块，用于获取医学图像；

图像定位模块，用于将所述医学图像输入图像定位模型，得到目标区域定位结果。

具体地，医学图像可以采取的形式包括但不限于X光图像、CT图像、MR图像和超声图像。医学图像可以是骨龄图像，还可以是其他被检测组织的图像，本实施例不以此为限。

具体地，在医学图像为骨龄图像时，目标区域包括指掌骨继发骨化中心和/或腕骨区群原生骨化中心，图像定位模型能够输出骨化中心检测点的位置。

图13是本发明实施例提供的图像定位装置的结构框图，为了便于说明，图像定位装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。请参照图13，该实施例中，医学图像具体为骨龄X光图像、图像定位模型具体为骨化中心定位模型，图像定位装置包括图像获取模块301和图像定位模块302。可以理解，上述各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能，此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。各模块详述如下：

图像获取模块301，用于获取骨龄X光图像；

图像定位模块302，用于将骨龄X光图像输入骨化中心定位模型进行骨化中心检测，得到骨化中心检测点位置。

在一个实施例中，骨化中心定位模型用于定位骨龄X光图像中的指掌骨继发骨化中心，以及根据定位出的指掌骨继发骨化中心定位骨龄X光图像中的腕骨区群原生骨化中心。

在一个实施例中，该装置还包括预处理模块，该模块用于对骨龄X光图像进行预处理。请继续参照图11和图12，对骨龄X光图像的预处理操作包括手掌区域自动分割、图像归一化以及手掌摆放角度和位置正位等，通过对图像进行预处理操作能有效去除手掌外无关信息影响、去除背景噪声，大大提高骨化中心检测系统的鲁棒性和泛化性。该模块包括如下子模块：

图像分割模块，用于利用图像分割模型提取X光图像中的手部区域；

位置校正模块，用于基于手部区域的分割结果，利用主成分分析法，可以计算出手部区域的旋转角度，因此基于此旋转角度，可将所有的手部旋转为正位；

尺寸调整模块，用于利用图像重心计算方法，将手部区域移动到图像中心并调整所有手部区域至相同尺寸，如1024*1024或者根据需要设置的其他尺寸；

标准化模块，用于仅针对手部区域进行直方图匹配、白化等操作，使图像的灰度为(-1，1)区间内的标准图像。

可选的，该图像分割模型是利用全卷积神经网络训练得到的；

详细地，全卷积神经网络可以是U-Net卷积神经网络，还可以是V-NET，VGG，ResNet，DenseNet等卷积神经网络。

请继续参照图11和图12，详细地，上述手部区域的分割结果中灰度值为0表示背景，灰度值为1表示手部区域；

可选地，手部区域的旋转角度是以垂直方向为参考方向得到的。

将手部区域从X光图像中提取出来，不仅可以去除掉背景、标签等无关信息，降低检测网络的假阳性率，还可以有效地对手掌区域的图像灰度范围进行统一，标准化手掌的摆放角度和位置，使得检测网络的结果更加精确。

图14是本发明实施例提供的图像定位模块的结构框图，请参照图14，在一个实施例中，图像定位模块302包括：

指掌骨继发骨化中心定位模块3021，用于将骨龄X光图像输入骨化中心定位模型进行指掌骨继发骨化中心检测，得到骨龄X光图像对应的指掌骨继发骨化中心检测点的位置；

边界框生成模块3022，用于根据指掌骨继发骨化中心检测点的位置生成腕骨感兴趣区域的边界框；

图像截取模块3023，用于截取边界框内对应的腕骨感兴趣区域图像；

腕骨区群原生骨化中心定位模块3024，用于基于腕骨感兴趣区域图像进行腕骨区群原生骨化中心检测，得到腕骨感兴趣区域图像对应的腕骨区群原生骨化中心检测点的位置。

图15是本发明实施例提供的图像定位模块的结构框图，请参照图15，在一个实施例中，图像定位模块302还包括：

插值放大模块302X，用于对腕骨感兴趣区域图像进行插值放大，得到插值后的腕骨感兴趣区域图像；插值后的腕骨感兴趣区域图像的分辨率高于腕骨感兴趣区域图像的分辨率。

在一个实施例中，图像定位装置还包括左手图像判断模块和图像翻转模块。左手图像判断模块用于根据指掌骨继发骨化中心检测点的位置判断骨龄X光图像是否为左手图像；图像翻转模块用于在骨龄X光图像为右手图像时，将骨龄X光图像翻转成左手图像。

具体地，左手图像判断模块包括检测点位置提取模块和检测点位置判断模块。

检测点位置提取模块用于从指掌骨继发骨化中心检测点的位置中提取至少一个检测点的位置；

检测点位置判断模块，用于根据所述至少一个检测点的位置判断X光图像是否为左手位图像/右手位图像。

在一个优选地实施例中，检测点位置提取模块用于从指掌骨继发骨化中心检测点的位置中提取指掌骨I 3的检测点位置和指掌骨V 11的检测点位置；检测点位置判断模块用于判断指掌骨I 3的检测点位置是否位于指掌骨V 11的检测点位置的右侧。也就是说，X光图像为左手图像或右手图像的判断依据是：指掌骨I 3骨化中心位于大拇指近关节处，指掌骨V 11骨化中心位于小拇指近关节处，而左手图像大拇指关节通常位于小拇指关节的右侧。

请继续参照图2，在一个实施例中，提取位于小指上的远节指骨V 8、中节指骨V 9、近节指骨V 10、指掌骨V 11的检测点位置以及位于拇指上的远节指骨I 1、近节指骨I 2的检测点位置，根据骨化中心的数量确定小指和拇指所在位置，然后根据小指和拇指的位置关系判断图像是左手位或右手位。

请继续参照图2，在一个实施例中，获取X光图片最左侧手指上的骨化中心检测点个数，根据骨化中心检测点个数确定该手指为小指还是拇指，根据小指/拇指与手的位置关系判断X光图像是左手位或右手位。例如，在检测点个数为4个时，确定该手指为小指，左手为图像中小指位于最左侧，那么就能够确定当前图像是左手位图像。基于与该实施例相同的发明构思，还可以通过X光图像最右侧手指上的骨化中心检测点个数来判断X光图像是否为左手位/右手位图像。

请继续参照图2，在一个实施例中，提取指掌骨I 3的检测点位置，根据指掌骨I 3的检测点位置可以得到拇指在X光图片中的位置，进而确定X光图像是左手位图像还是右手位图像。例如，指掌骨I 3的检测点位置位于X光图像的右侧时，可以确定拇指位于X光图像的右侧，进而可以确定X光图像为左手位图像。

基于与上述实施例相同的发明构思，部分指掌骨继发骨化中心检测点设置方案如下：方案1：检测点位置为指掌骨I 3的检测点位置；方案2：检测点位置为指掌骨V 11的检测点位置；方案3：检测点位置为指掌骨V 11、尺骨末端12以及桡骨末端13的检测点位置；方案4：检测点位置为近节指骨I 2、尺骨末端12以及桡骨末端13的检测点位置，等等，在此不一一列举。需要指出的是，上述实施例仅用于对如何判断左手图像进行说明，不应视为对本实施例保护范围的限制。

在一个实施例中，骨化中心定位模型是以右手位为标准进行骨化中心定位的，进行右手位判断的步骤及依据可参照上述以左手位为标准的实施例。

在一个实施例中，用于训练骨化中心定位模型的数据全部为左手位图像或全部为右手位图像，在训练时随机对图像进行水平翻转，使得该训练数据既有左手图像，也有右手图像。训练好的骨化中心定位模型既能够处理左手位的骨龄X光图像，也能够处理右手位的骨龄X光图像。在该实施例中，输入骨化中心定位模型的骨龄X光图像既可以是左手图像，也可以是右手图像。

具体地，对训练数据集中的每张图像来说进行水平翻转的概率是P，不进行水平翻转的概率是1-P，优选地，P＝50％；由于对图片翻转的过程是随机的，因此，用于训练的图像中左手图像和右手图像的数量不一定是相等的。需要指出的是，对每张图像进行水平翻转的概率P还可以根据实际需要取其他值，本实施例不以此为限。

具体地，图像截取模块包括定位点获取模块和边界框构建模块，定位点获取模块用于获取至少一个指掌骨继发骨化中心检测点的位置，作为边界框定位点；边界框构建模块用于基于边界框定位点按照预设条件构建腕骨感兴趣区域的边界框。

请继续参照图2，在一个优选地实施例中，定位点获取模块用于从指掌骨继发骨化中心检测点的位置中提取指掌骨I 3的检测点位置、尺骨末端12的检测点位置和桡骨末端13的检测点位置。

边界框构建模块用于根据指掌骨I 3的检测点位置、尺骨末端12的检测点位置和桡骨末端13的检测点位置构建腕骨感兴趣区域的边界框。

腕骨感兴趣区域的边界框的形状为矩形，矩形的右上顶点位于指掌骨I 3的检测点位置，矩形的左下顶点、尺骨末端12的检测点位置和桡骨末端13的检测点位置在同一条直线上，矩形的左下顶点位于尺骨末端12的检测点位置的左侧，且矩形的左下顶点与尺骨末端12的检测点位置之间间隔预设距离(例如，50像素)。在一个具体地示例中，边界框的高为500像素、宽为600像素。在实际应用中，边界框的尺寸大小也可以是其他值。

请继续参照图2，在一个实施例中，定位点获取模块从指掌骨继发骨化中心检测点的位置中提取指掌骨III 7的检测点位置，边界框构建模块根据指掌骨III 7的检测点位置按照预设条件构建腕骨感兴趣区域。

可选地，预设条件包括指掌骨III 7的检测点位置与边界框的位置关系以及边界框尺寸与手掌图像尺寸的比值关系或边界框尺寸；优选地，指掌骨III 7的检测点位置位于边界框顶边的中点处，边界框的面积大小为手掌图像的一半。

需要指出的是，上述预设条件的示例仅用于对本实施例的进行说明，不应视为对本实施例保护范围的限制，在实际应用中，上述指掌骨III 7的检测点位置与边界框的相对位置关系可以不同于上述相对位置关系，边界框与手掌图像的比值也可以取其他值。

请继续参照图2，在一个实施例中，还可以设置尺骨末端12、桡骨末端13为边界框定位点，尺骨末端12、桡骨末端13用于确定边界框的底边位置。在边界框的底边确定之后，根据手掌图像的尺寸以及边界框的尺寸与手掌图像的尺寸的比值关系确定边界框的尺寸。

请继续参照图2，在一个实施例中，还可以设置尺骨末端12、桡骨末端13为边界框定位点，尺骨末端12、桡骨末端13用于确定边界框的底边位置。在边界框的底边确定之后，根据边界框的左侧边与尺骨末端12之间的预设距离(例如50像素)、边界框的右侧边与桡骨末端13之间的预设距离(例如100像素)以及根据边界框顶边与底边的距离与尺骨末端12、桡骨末端13之间的距离的比值确定边界框的尺寸，并生成边界框。

请继续参照图2，在一个实施例中，还可以设置指掌骨V 11为边界框定位点，指掌骨V 11用于确定边界框的左上顶点。边界框的尺寸取值可以参见前述实施例，此处不再详述。

基于与上述实施例相同的发明构思，部分边界框定位点设置方案如下：方案1：边界框定位点为指掌骨I 3；方案2：边界框定位点为近节指骨I 2、指掌骨V 11、桡骨末端13；方案3：边界框定位点为指掌骨V 11、尺骨末端12、桡骨末端13；方案4：边界框定位点为指掌骨III 7、尺骨末端12、桡骨末端13，等等，在此不一一列举。

具体地，骨化中心定位模型是基于骨龄X光样本图像以及相应的指掌骨继发骨化中心标签和腕骨区群原生骨化中心标签进行机器学习训练得到的；

优选地，骨化中心定位模型是基于骨龄X光样本图像以及相应的指掌骨继发骨化中心标签和腕骨区群原生骨化中心标签进行深度学习训练得到的；

骨化中心检测点位置包括指掌骨继发骨化中心检测点位置；或者，骨化中心检测点位置包括指掌骨继发骨化中心检测点位置和腕骨区群原生骨化中心检测点位置。

本实施例还公开了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的图像定位方法。

本实施例还公开了一种计算机可读存储介质，存储介质可设置于上述设备之中以保存用于实现方法实施例中一种图像定位方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的图像定位方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例将深度学习应用于骨龄X光片中的骨化中心的自动定位，不仅可以帮助医生快速、精准地确定包括原生骨化中心和继发骨化中心在内的22个骨化中心的位置，也为进一步使用计算机分析骨化中心的形态并预测骨龄提供了技术基础。

本发明实施例先检测骨龄X光片中的指掌骨继发骨化中心，再根据定位出的所述指掌骨继发骨化中心提取和限制骨龄X光图像中的腕骨区群原生骨化中心检测区域，与现有技术相比具有更鲁棒的检测性能。

在上述实施例中，对各实施例的描述都各有侧重，某各实施例中没有详述的部分，可以参见其它实施例的相关描述。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

应当指出的是，以上所述仅为本发明的几种具体实施方式，不能理解为对本发明保护范围的限制。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像定位方法，其特征在于，包括：

获取医学图像；

将所述医学图像输入图像定位模型，得到目标区域定位结果。

2.根据权利要求1所述的方法，其特征在于，所述医学图像包括骨龄图像；所述将所述医学图像输入图像定位模型，得到目标区域定位结果，包括：

将所述骨龄图像输入所述图像定位模型进行指掌骨继发骨化中心检测，得到所述骨龄图像对应的指掌骨继发骨化中心检测点的位置；

根据所述指掌骨继发骨化中心检测点的位置生成腕骨感兴趣区域的边界框，截取所述边界框内对应的腕骨感兴趣区域图像；

基于所述腕骨感兴趣区域图像进行腕骨区群原生骨化中心检测，得到所述腕骨感兴趣区域图像对应的腕骨区群原生骨化中心检测点的位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述腕骨感兴趣区域图像进行腕骨区群原生骨化中心检测之前，还包括：

对所述腕骨感兴趣区域图像进行插值放大，得到插值后的腕骨感兴趣区域图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述指掌骨继发骨化中心检测点的位置生成腕骨感兴趣区域的边界框，包括：

获取至少一个所述指掌骨继发骨化中心检测点的位置，作为边界框定位点；

基于所述边界框定位点按照预设条件构建所述腕骨感兴趣区域的边界框。

5.根据权利要求1所述的方法，其特征在于，所述图像定位模型是基于样本医学图像以及相应的目标区域标签进行机器学习训练得到的。

6.一种图像定位装置，其特征在于，包括：

图像获取模块，用于获取医学图像；

图像定位模块，用于将所述医学图像输入图像定位模型，得到目标区域定位结果。

7.根据权利要求6所述的装置，其特征在于，所述医学图像包括骨龄图像；所述图像定位模块包括：

指掌骨继发骨化中心定位模块，用于将所述骨龄图像输入所述图像定位模型进行指掌骨继发骨化中心检测，得到所述骨龄图像对应的指掌骨继发骨化中心检测点的位置；

边界框生成模块，用于根据所述指掌骨继发骨化中心检测点的位置生成腕骨感兴趣区域的边界框；

图像截取模块，用于截取所述边界框内对应的腕骨感兴趣区域图像；

腕骨区群原生骨化中心定位模块，用于基于所述腕骨感兴趣区域图像进行腕骨区群原生骨化中心检测，得到所述腕骨感兴趣区域图像对应的腕骨区群原生骨化中心检测点的位置。

8.根据权利要求7所述的装置，其特征在于，所述边界框生成模块包括：

定位点获取模块，用于获取至少一个所述指掌骨继发骨化中心检测点的位置，作为边界框定位点；

边界框构建模块，用于基于所述边界框定位点按照预设条件构建所述腕骨感兴趣区域的边界框。

9.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的图像定位方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一项所述的图像定位方法。