CN108056786A

CN108056786A - 一种基于深度学习的骨龄检测方法和装置

Info

Publication number: CN108056786A
Application number: CN201711296094.1A
Authority: CN
Inventors: 傅君芬; 倪浩; 赖灿; 郑永升; 俞刚
Original assignee: Hangzhou Yitu Medical Technology Co ltd; Childrens Hospital of Zhejiang University School of Medicine
Current assignee: Zhejiang University ZJU
Priority date: 2017-12-08
Filing date: 2017-12-08
Publication date: 2018-05-22
Anticipated expiration: 2037-12-08
Also published as: CN111671448A; CN108056786B

Abstract

本发明提供基于深度学习的检测受检者的骨龄的方法和装置，该方法包括：输入步骤，输入受检者的手的X光图片以及受检者的性别；获取步骤，从X光图片中获取手上的每块骨骼对应的多个关键点；提取步骤，从X光图片中提取出部分骨骼各自的初始图片；矫正步骤，对部分骨骼中的每块骨骼的初始图片进行矫正，以获得部分骨骼各自的矫正图片；第一确定步骤，确定部分骨骼中的每块骨骼的生长阶段信息，并在多块骨骼中不包括腕骨的情况下，确定腕骨的生长阶段信息；第二确定步骤，根据部分骨骼中的每块骨骼的生长阶段信息，或者根据部分骨骼中的每块骨骼的生长阶段信息和腕骨的生长阶段信息，确定受检者的骨龄。

Description

一种基于深度学习的骨龄检测方法和装置

技术领域

本发明涉及一种基于深度学习的骨龄检测方法和装置。

背景技术

“骨龄”是骨骼年龄的简称，是青少年儿童骨骼发育水平同骨发育标准比较而得出的发育年龄，它比年龄、身高、体重更能精确的反映出身体的成熟程度，更加准确地反映个体的生长发育水平和成熟程度。

临床上通过检测骨龄来判读儿童的生物学年龄，通过生物年龄与日历年龄的差异来评估儿童发育状况，了解儿童性成熟的趋势，预测儿童的成年身高等，并广泛用于影响儿童生长发育疾病的治疗监测，对一些儿科内分泌疾病的诊断有很大帮助。

传统的检测骨龄的方法有两种：G-P图谱法和TW3计分法。G-P图谱法和TW3计分法分别依据美国20世纪30-40年代和欧洲20世纪70-90年代的白人儿童，由于种族差异和社会经济发展的变化，该标准不完全适用于东亚儿童。为此，自20世纪60年代以来我国学者张果珍、顾光宁、张绍岩、叶义言等曾提出中国人骨龄百分计数法标准、手腕骨发育图谱，CHN法，TW3-C，RUS-CHN及叶氏骨龄法等。但是这些方法均存在一些不足。G-P图谱法简单但主观性强不够精确；TW3计分法较为精确但耗时长，需要对桡骨、尺骨、3块掌骨、8块指骨(共13块)(RUS(R)系列)、以及7块腕骨(Carpal(C)系列)共20块骨骼做8个等级的评分和计算，临床实际工作中难以推行。

目前的骨龄诊断/辅助系统主要有三类：

1.骨龄远程在线判读系统。实现骨龄片采集的数字化，数字化图片的上传，数字化骨龄片的在线判读，判读结果的即时反馈等功能，但是本质上依然是人工研判骨龄；

2.骨龄辅助计算系统。主要针对TW3计分法，需要人工对多块骨头打分，将分数输入系统，获得骨龄估计值。该系统取代了计算查表的过程，但本质上依然是人工研判；

3.骨龄辅助诊断系统。通过计算机视觉的方法，自动计算骨龄的系统。现有的自动化系统，或在精度方面无法达到临床使用的阶段，或在实时性方面没有显著优于医生研判所花费的时间。

发明内容

本发明提供一种基于深度学习的检测受检者的骨龄的方法，所述方法包括：

输入步骤，输入所述受检者的手的X光图片以及所述受检者的性别；

获取步骤，根据预定的定位算法，从所述X光图片中获取所述手上的多块骨骼中的每块骨骼对应的多个关键点；

提取步骤，根据所述多个关键点，从所述X光图片中提取出所述多块骨骼中的部分骨骼各自的初始图片；

矫正步骤，根据所述部分骨骼各自对应的多个关键点，对所述部分骨骼中的每块骨骼的所述初始图片进行矫正，以获得所述部分骨骼各自的矫正图片；

第一确定步骤，利用深度学习模型，根据所述部分骨骼各自的矫正图片以及所述性别，确定所述部分骨骼中的每块骨骼的生长阶段信息，并在所述多块骨骼中不包括腕骨的情况下，确定所述腕骨的生长阶段信息；

第二确定步骤，利用深度学习模型，根据所述部分骨骼中的每块骨骼的生长阶段信息，或者根据所述部分骨骼中的每块骨骼的生长阶段信息和所述腕骨的生长阶段信息，确定所述受检者的骨龄。

所述受检者是青少年儿童，其中，在所述输入步骤中，在判断所述X光图片是左手正位的X光图片的情况下，进入所述获取步骤。

在所述多块骨骼包括腕骨的情况下，所述部分骨骼包括部分指骨、部分掌骨、尺骨、桡骨和腕骨，

在所述多块骨骼不包括腕骨的情况下，所述部分骨骼包括部分指骨、部分掌骨、尺骨和桡骨。

在所述第一确定步骤中，从所述部分骨骼各自的矫正图片提取每块骨骼的特征信息，将所述特征信息与数据库中与所述性别对应的多个基准特征信息进行比对，以确定所述部分骨骼中的每块骨骼的生长阶段信息。

在所述第二确定步骤中，当所述多块骨骼包括所述腕骨的情况下，根据所述部分骨骼中的每块骨骼的生长阶段信息，确定所述儿童的骨龄；

当所述多块骨骼不包括所述腕骨的情况下，根据所述部分骨骼中的每块骨骼的生长阶段信息和所述腕骨的所述生长阶段信息，确定所述受检者的骨龄。

本发明还提供一种基于深度学习的检测受检者的骨龄的装置，所述装置包括：

输入单元，输入所述受检者的手的X光图片以及所述受检者的性别；

获取单元，根据预定的定位算法，从所述X光图片中获取所述手上的多块骨骼中的每块骨骼对应的多个关键点；

提取单元，根据所述多个关键点，从所述X光图片中提取出所述多块骨骼中的部分骨骼各自的初始图片；

矫正单元，根据所述部分骨骼各自对应的多个关键点，对所述部分骨骼中的每块骨骼的所述初始图片进行矫正，以获得所述部分骨骼各自的矫正图片；

第一确定单元，根据所述部分骨骼各自的矫正图片以及所述性别，确定所述部分骨骼中的每块骨骼的生长阶段信息，并在所述多块骨骼中不包括腕骨的情况下，确定所述腕骨的生长阶段信息；

第二确定单元，根据所述部分骨骼中的每块骨骼的生长阶段信息，或者根据所述部分骨骼中的每块骨骼的生长阶段信息和所述腕骨的生长阶段信息，确定所述受检者的骨龄。

附图说明

图1是根据本发明实施例的检测受检者的骨龄的装置的结构图；

图2是根据本发明实施例的检测受检者的骨龄的方法的流程图；

图3是根据本发明实施例的受检者的左右X光图片的示意图；

图4是根据本发明实施例的尺骨的初始图片的示意图；

图5是根据本发明实施例的尺骨的矫正图片的示意图。

具体实施方式

下面结合附图，对本发明的实施例进行详细说明。

图1是根据本发明实施例的检测受检者的骨龄的装置1的结构图。如图1所示，该装置1包括输入单元10、获取单元11、提取单元12、矫正单元13、第一确定单元14、第二确定单元15。

图2是根据本发明实施例的检测受检者的骨龄的方法的流程图。在步骤S21，输入单元10输入受检者的手的X光图片以及受检者的性别。其中，受检者可以是青少年儿童，本例中，例如是女性儿童。输入单元10将判断输入的X光图片是否是左手正位的X光图片，如果是左手正位的X光图片，则进入步骤S22。输入的左手的X光图片30如图3所示。

这里，如果判断出输入的X光图片不是左手正位的X光图片，例如是人体其他部位的X光图片，那么该装置1不会进行后续的检测处理。

接着，在步骤S22，获取单元11根据预定的定位算法，从X光图片30中获取左手上的多块骨骼中的每块骨骼对应的多个关键点。

这里，预定的定位算法例如是现有的基于深度学习的Alignment算法，利用该算法，可以为X光图片30中的每块骨骼定位到对应的多个关键点。如图3所示，左手的多块骨骼包括尺骨31、桡骨32、多块指骨33、多块掌骨341-345、和多块腕骨35。对于腕骨35，由于其生长发育的特点，腕骨会经历从无到有的过程。因此，当腕骨不存在时，则不会获取到腕骨对应的多个关键点。

如图4所示，获取单元11获取尺骨31的多个关键点A、B、C、D、E、F、G。同样，获取单元11也获取了其他骨骼各自的多个关键点。

对于每块骨骼，对应的多个关键点可以包含该骨骼的相关信息。以尺骨31为例，这些关键点A、B、C、D、E、F、G包含尺骨31的相关信息，例如尺骨31的位置、大小、方向等等。

在步骤S23，根据多个关键点，提取单元13从X光图片30中提取出多块骨骼中的部分骨骼各自的初始图片。

通过步骤S22中定位获取的每块骨骼的多个关键点，提取单元13可以从X光图片30中提取出所需要的部分骨骼各自的初始图片。

其中，在多块骨骼包括腕骨的情况下，部分骨骼包括部分指骨、部分掌骨、尺骨31、桡骨32和腕骨35，在多块骨骼不包括腕骨的情况下，部分骨骼包括部分指骨、部分掌骨、尺骨31和桡骨32。本例中，例如多块骨骼包括腕骨。

这里，如图3所示，部分指骨包括第一近节指骨3311、第一远节指骨3312、第三近节指骨3331、第三中节指骨3332、第三远节指骨3333、第五近节指骨3351、第五中节指骨3352、第五远节指骨3353，部分掌骨包括第一掌骨341、第三掌骨343和第五掌骨345。

每块骨骼对应的多个关键点可以限定该骨骼的图片区域，因此，通过每块骨骼对应的多个关键点可以从X光图片30中提取出每块骨骼的初始图片。例如，图4示出了通过关键点A、B、C、D、E、F、G提取出的尺骨31的初始图片41。如此，提取单元13可以从X光图片30中提取出上述部分骨骼中的每块骨骼的初始图片。

在步骤S24，根据部分骨骼各自对应的多个关键点，矫正单元14对部分骨骼中的每块骨骼的初始图片进行矫正，以获得部分骨骼各自的矫正图片。

这里，按照现有的矫正算法，进行矫正。以尺骨31为例，矫正单元14利用现有的矫正算法，根据关键点A、B、C、D、E、F、G所包含的矫正所需的信息，对图4所示的尺骨31的初始图片41进行矫正，得到图5所示的尺骨31的矫正图片50。

例如，由于手放置的角度的关系，尺骨31的初始图片41并非尺骨31的正面视图，而是有些倾斜，如图4所示。在通过上述矫正之后，可以得到尺骨31的正面视图，即，如图5所示的矫正图片50。其中，矫正的过程不会改变每块骨骼的形态特征。

在步骤S25，第一确定单元15根据部分骨骼各自的矫正图片以及性别，确定部分骨骼中的每块骨骼的生长阶段信息，并在多块骨骼中不包括腕骨的情况下，确定腕骨的生长阶段信息。

本例中，例如腕骨已经存在，那么第一确定单元15根据步骤S24中得到的部分骨骼中的每块骨骼的矫正图片，确定每块骨骼的生长阶段信息。

具体的，第一确定单元15从部分骨骼各自的矫正图片提取每块骨骼的特征信息，将特征信息与数据库中与性别对应的多个基准特征信息进行比对，以确定部分骨骼中的每块骨骼的生长阶段信息。

以尺骨31为例，第一确定单元15从尺骨31的矫正图片50提取出尺骨31的特征信息，并与对应于女性的数据库中的所有桡骨的基准特征信息进行比对，找出与尺骨31的特征信息最相似的N块桡骨，例如5块桡骨。数据库中的这5块桡骨分别有对应的生长阶段信息，按照以多胜少的原则来确定尺骨31的生长阶段信息。例如，数据库中的这5块桡骨对应的生长阶段信息分别是1、3、5、3、6。其中，生长阶段信息为3的数量最多，那么该尺骨31的生长阶段信息就被确定为3。如此，可以确定部分骨骼中的每块骨骼的生长阶段信息。

另外，在多块骨骼中不包括腕骨的情况下，即腕骨尚未长出的情况下，第一确定单元14直接确定腕骨的生长阶段信息为0。

也就是说，当腕骨存在的情况下，第一确定单元15可以根据腕骨的矫正图片，进行上述特征比对，从而确定腕骨的生长阶段信息。当腕骨不存在的情况下，第一确定单元15则直接可以确定腕骨的生长阶段信息为0，而无需进行上述特征比对。

在步骤S26，根据部分骨骼中的每块骨骼的生长阶段信息，或者根据部分骨骼中的每块骨骼的生长阶段信息和腕骨的生长阶段信息，第二确定单元15确定受检者的骨龄。

其中，当多块骨骼包括腕骨的情况下，根据部分骨骼中的每块骨骼的生长阶段信息，确定儿童的骨龄；当多块骨骼不包括腕骨的情况下，根据部分骨骼中的每块骨骼的生长阶段信息和腕骨的上述生长阶段信息，确定受检者的骨龄。

具体的，本例中，例如多块骨骼包括腕骨，即上述部分骨骼中包括腕骨。步骤S25中确定了部分骨骼中的每块骨骼的生长阶段信息，而生长阶段信息具有对应的分数(可以根据现有的分数表格找到对应的分数)。将这些分数进行求和，并通过查找现有的骨龄表格得到对应的骨龄。本例中，例如以现有的TW3计分法为原型，确定儿童的骨龄。

另外，如果多块骨骼不包括腕骨，即上述部分骨骼中不包括腕骨，那么按照步骤S25中确定的部分骨骼的每块骨骼的生长阶段信息、以及直接确定的腕骨的生长阶段信息0，得到生长阶段信息各自对应的分数(可以根据现有的分数表格找到对应的分数)，将这些分数进行求和，并通过查找现有的骨龄表格得到对应的骨龄。本例中，例如以现有的TW3计分法为原型，确定儿童的骨龄。

对于输入的X光图片30，左手的整体形态会受到许多因素的影响，例如手放置的方向或角度、手指伸展度、手指张开程度等等。通过每块骨骼对应的多个关键点，可以准确地提取出每块骨骼的初始图片，从而可以减少干扰因素。

本发明的检测过程中，考虑了部分指骨、部分掌骨、尺骨、桡骨和腕骨(存在或不存在)，即考虑的信息更加全面，因此检测结果更准确。

本发明可以自动检测骨龄，而无需人工干预，极大地加速了医生的诊断过程，且结果精度更高，稳定性更强。

虽然经过对本发明结合具体实施例进行描述，对于本领域的技术技术人员而言，根据上文的叙述后作出的许多替代、修改与变化将是显而易见。因此，当这样的替代、修改和变化落入附后的权利要求的精神和范围之内时，应该被包括在本发明中。

Claims

1.一种基于深度学习的检测受检者的骨龄的方法，其特征在于，所述方法包括：

第一确定步骤，根据所述部分骨骼各自的矫正图片以及所述性别，确定所述部分骨骼中的每块骨骼的生长阶段信息，并在所述多块骨骼中不包括腕骨的情况下，确定所述腕骨的生长阶段信息；

第二确定步骤，根据所述部分骨骼中的每块骨骼的生长阶段信息，或者根据所述部分骨骼中的每块骨骼的生长阶段信息和所述腕骨的生长阶段信息，确定所述受检者的骨龄。

2.如权利要求1所述的方法，其特征在于，所述受检者是青少年儿童，

其中，在所述输入步骤中，在判断所述X光图片是左手正位的X光图片的情况下，进入所述获取步骤。

3.如权利要求2所述的方法，其特征在于，在所述多块骨骼包括腕骨的情况下，所述部分骨骼包括部分指骨、部分掌骨、尺骨、桡骨和腕骨，

4.如权利要求3所述的方法，其特征在于，在所述第一确定步骤中，从所述部分骨骼各自的矫正图片提取每块骨骼的特征信息，将所述特征信息与数据库中与所述性别对应的多个基准特征信息进行比对，以确定所述部分骨骼中的每块骨骼的生长阶段信息。

5.如权利要求4所述的方法，其特征在于，在所述第二确定步骤中，当所述多块骨骼包括所述腕骨的情况下，根据所述部分骨骼中的每块骨骼的生长阶段信息，确定所述儿童的骨龄；

6.一种基于深度学习的检测受检者的骨龄的装置，其特征在于，所述装置包括：

7.如权利要求6所述的装置，其特征在于，所述受检者是青少年儿童，

其中，在所述输入单元中，在判断所述X光图片是左手正位的X光图片的情况下，进入所述获取单元。

8.如权利要求7所述的装置，其特征在于，在所述多块骨骼包括腕骨的情况下，所述部分骨骼包括部分指骨、部分掌骨、尺骨、桡骨和腕骨，

9.如权利要求8所述的装置，其特征在于，在所述确定步骤中，从所述部分骨骼各自的矫正图片提取每块骨骼的特征信息，将所述特征信息与数据库中与所述性别对应的多个基准特征信息进行比对，以确定所述部分骨骼中的每块骨骼的生长阶段信息。

10.如权利要求9所述的装置，其特征在于，当所述多块骨骼包括所述腕骨的情况下，所述第二确定单元根据所述部分骨骼中的每块骨骼的生长阶段信息，确定所述受检者的骨龄；

当所述多块骨骼不包括所述腕骨的情况下，所述第二确定单元根据所述部分骨骼中的每块骨骼的生长阶段信息和所述腕骨的生长阶段信息，确定所述受检者的骨龄。