CN114663735A - 基于联合全局及局部卷积神经网络特征的双骨龄评估方法 - Google Patents

Abstract

本申请提出了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，所述方法包括：获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；结合骨龄评估任务和解剖学局部骨骺区域的成熟度评级任务来同时利用全局特征和局部特征，从而提升骨龄评估方法的性能。

Description

基于联合全局及局部卷积神经网络特征的双骨龄评估方法

技术领域

本申请涉及图像处理技术领域，特别是涉及基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

背景技术

骨龄评估是一项常见的临床诊断，它旨在评估人体骨骼的生物学成熟度。准确的骨龄评估不但是估计个人最终身高的重要指标，也是辅助小儿内分泌科和小儿骨科疾病的诊断治疗的有力工具。

目前骨龄评估的主流方法都是基于非惯用手（通常是左手）的手部X光图像，常用的骨龄评估方法是 GP图谱法、TW计分法和国内衍生出来的中华05计分法。GP图谱法法是将个人的手部 X 光片与不同骨龄的参考图像进行比较而获得骨龄估计；TW计分法和中华05计分法是对手部不同的解剖学骨骺区域进行成熟度评级并综合这些区域所有评分的评分系统。其中，GP图谱法是基于整体的方法，因其操作相对简便所以在临床诊断中流行；中华05计分法是根据RUS（桡尺、掌指骨）为针对中国青少年而制定的评分系统，所以最适合中国青少年的骨龄情况。然而，这些方法都需要放射科医生手动完成，整个过程耗时费力，且依赖于医生的临床专业知识，这大大约束了临床诊断的效率。随着机器学习技术的发展，一些自动化的骨龄评估方法应运而生。比起传统的机器学习方法，深度学习中的卷积神经网络（CNN）能从图像中自动提取出丰富的特征进行分析，因此在最近几年的图像分析领域获得了广泛的应用。

对于骨龄评估，对整体手部和局部骨骺的关注都是有必要的。现有的基于深度学习的骨龄评估方法要么是以整个手部X光图像作为输入，主要利用全局特征来获取骨龄估计而没有充分考虑到一些局部骨骺区域对骨龄评估的重要性；要么是模仿TW打分系统，对手部不同的局部骨骺区域进行成熟度评级，然后汇总所有评分得到最后的打分，但这却忽视了全局的特征。因此，目前亟待发明一种更有效的骨龄评估方法，以解决目前根据图像分析得出骨龄评估度的准确度低的问题。

发明内容

本申请实施例提供了基于联合全局及局部卷积神经网络特征的双骨龄评估方法，结合骨龄评估任务和解剖学局部骨骺区域的成熟度评级任务来同时利用全局特征和局部特征，从而提升骨龄评估方法的性能。

第一方面，本申请实施例提供了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，所述方法包括：

获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

在其中一个可行实施例中，第一卷积神经网络以多张手骨全图样本作为输入，以骨龄确定值作为监督对第一卷积神经网络进行训练得到，其中骨龄确定值由GP图谱法进行确定。

在其中一个可行实施例中，第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图像样本作为输入，以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得到，其中骨骺区域RUS成熟度确定值由RUS计分法进行确定。

在其中一个可行实施例中，“将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征”包括：将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征。

在其中一个可行实施例中，所述方法还包括：每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

在其中一个可行实施例中，“基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图”包括：将N个骨骺局部特征，输入GCN网络获得N个深加工局部特征；将每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

在其中一个可行实施例中，骨骺区域图像的获取步骤包括：对手骨全图样本进行手部关键点检测，得到多个根据固定生物解剖位置的关键点坐标，根据关键点坐标裁切出对应的骨骺区域图像。

在其中一个可行实施例中，获取关键点坐标中的手指掌骨两端关键点，以手指掌骨两端关键点连线方向将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手部图像，其中，该矫正手部图像是标准化的手骨全图；以关键点为中心，根据预设长宽比例在矫正手部图像中裁剪出对应的骨骺区域图像。

第二方面，本申请实施例提供了一种基于多任务卷积神经网络的骨龄评估装置，包括：获取模块，用于获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；模型构建模块，用于构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；全局特征提取模块，用于根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；性别特征提取模块，用于根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；局部特征提取模块，用于根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；融合模块，用于将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；GP图谱骨龄评估模块，用于对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；RUS骨龄评估模块，用于将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

第三方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据第一方面所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

本发明的主要贡献和创新点如下：

1、本方案通过双骨龄预测模型对手骨全图、骨骺区域图像和性别信息一同作为输入，并在模型中充分融合全局特征、解剖学骨骺区域的局部特征和性别特征，从而提升骨龄评估方法的性能。

2、在对基于卷积神经网络的双骨龄预测模型进行训练时，骨龄的标注来自GP图谱法，骨骺区域成熟度评级的标注来自中华05计分法，所以本发明的方法适用于我国青少年的临床骨龄评估诊断，解决了目前骨龄评估研究方向中对青少年骨龄评估的准确性低的问题。

3、本方案的双骨龄预测模型能够同时预测GP骨龄和RUS骨龄，可为临床提供更多参考信息。

4、本方案中各个骨骺区域图像共享特征提取网络，输出局部特征后通过GCN充分挖掘局部特征及其关联关系，得到共享局部特征，因此能够捕获到更丰富和复杂的特征，回归得到的成熟度评估分布图的评估结果准确率更高。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于联合全局及局部卷积神经网络特征的双骨龄评估方法的流程图；

图2根据本申请实施例的手骨全图以及骨骺区域图像的获取流程示意图；

图3是根据本申请实施例的双骨龄预测模型的网络结构图；

图4是根据本申请实施例的基于多任务卷积神经网络的骨龄评估装置的结构框图；

图5是根据本申请实施例的电子装置的硬件结构示意图；

图6是根据本申请实施例的多任务骨龄评估方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请实施例提供了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，参考图1，所述方法包括以下步骤S101至S106：

S101、获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像。

S102、构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得。

S103、根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征。

S104、根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征。

S105、根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征。

S106、将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征。

S107、对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果。

S108、将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

具体地，在本方案中通过双骨龄预测模型将手骨全图、骨骺区域图像和性别信息一同作为输入，并且由不同的特征提取网络对手部全局特征、局部特征进行特征提取，并结合性别信息融合得到融合特征，在融合特征中既包含了手部的全局特征，还包括的手部中不同局部骨骺区域的局部特征，因此基于融合特征回归得到的骨龄评估分布图对骨龄的评估准确度更高。

更具体地，在本方案中利用中华05计分法对骨骺区域图像进行标注，得到骨骺区域RUS成熟度确定值。而中华05计分法是针对青少年而制定的评分系统，因此在中国青少年的骨龄评估准确性上是更高的，故本方案以骨骺区域图像作为输入，以RUS计分法标注的结果作为监督，从而对第二特征提取网络进行训练，使得第二特征提取网络能够对青少年的骨骺区域图像进行提取得到局部特征。本方案将骨骺局部特征与手部全局特征进行融合，使得上述骨龄评估方法也能够适用于我国青少年的临床骨龄评估诊断，因此相比于常规的手部检测模型或者局部检测模型，本方案的适用性更广。

为了实现以上效果，本方案需先获取手骨全图，手骨全图可以是对X片图像进行手部区域检测得到的手部区域图像。具体地，对X片图像进行手部区域检测能够去除干扰信息和伪影干扰，得到的手骨全图如图2所示。在本方案中，手部区域检测可采用常见的目标检测模型，举例而非限制，可以采用手部区域CNN检测网络，该网络以手部区域图像样本作为输入，以目标手部区域包围框作为监督训练得到。

在本方案中，从同一张手骨全图中获取骨骺区域图像，并将骨骺区域图像与手骨全图一通输入双骨龄预测模型中进行识别，从而使手部全局特征能够融合局部特征，起到各特征间优势互补的作用。具体地，继续参见图2，本方案采用关键点CNN定位网络在手骨全图中识别出针对固定生物解剖位置的13个关键点坐标，每个关键点坐标都对应一个骨骺区域，以每个关键点坐标裁剪出骨骺区域图像。将得到的13个骨骺区域图像都输入共享的局部特征提取模块中，得到对应于不同骨骺区域的骨骺局部特征。

在本方案中，骨骺区域图像的获取步骤包括：对手骨全图样本进行手部关键点检测，得到多个根据固定生物解剖位置的关键点坐标，根据关键点坐标裁切出对应的骨骺区域图像。

具体地，继续参照图2，获取关键点位置中的手指掌骨两端关键点，以手指掌骨两端关键点连线方向为竖轴，以水平方向为横纵，将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手部图像；可从图2看到手指掌骨近似垂直水平方向，得到的手骨全图中手骨位置端正，便于剪裁。后续以关键点为中心，根据预设长宽比例在矫正手部图像中裁剪出对应的骨骺区域图像。

需要说明的是，对于青少年，女性发育较男性早2年左右，所以性别特征也是评估骨龄的重要因素。由于本方案能够适用于对青少年的骨龄进行评估，因此本方案的还输入了性别信息，通过性别信息能够更准确评估出不同性别的青少年的骨龄情况。

具体地，在本方案中性别信息为二值数据，以1表示女性，0表示男性，输入的二值数据为1或者0。

在本方案中，手部全局特征由双骨龄预测模型的手部特征提取网络卷积得到。其中利用GP图谱法对手骨全图样本进行标注，得到骨龄确定值，并对手部全局特征网络进行训练。其中全局特征具有良好的不变性以及直观性。因此融合有全局特征的融合特征具有更好的特征表达能力。

在本方案中，“将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征”包括：将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征。

具体地，如图3所示，主干网络1输出手部全局特征，主干网络2输出多个骨骺区域X光图像块对应的局部特征，在第一全连接层（FC层1）中目标性别特征与手部全局特征进行拼接，得到第一拼接特征，在第一全连接层的下一全连接层中第一拼接特征与所有拷贝来的局部特征进行拼接，得到融合特征。

更具体地，性别信息由全连接层进行特征长度调整，如性别信息（0表示男性，1表示女性），输入全连接层后，可以得到指定长度的一维性别特征。指定长度的一维性别特征用于与手部全局特征进行拼接，得到一个更长的一维特征。例如，以1*32的全连接层对性别信息进行运算操作，将性别信息从长度1转换为长度32后与手部全局特征进行拼接，得到第一拼接特征。

另，本方案采用两个全连接层将目标性别特征、局部特征以及手部全局特征进行融合，其中在FC层1的下一全连接层中通过将局部特征拷贝到该全连接层输入层与第一拼接特征进行拼接，得到一个长度更长的拼接特征，并由该全连接层对拼接特征进行融合，使得融合特征具备了全局信息、性别信息以及局部信息，因此后续预测的骨龄结果更为准确。

需要说明的是，在本方案中多任务骨龄评估体现在，首先本方案首次训练了双骨龄预测模型，在模型中包含两个主干网络，用于同时对全局信息和局部信息进行卷积。由于卷积过程是同时进行的，因此本方案的识别效率更高。

此外，在本方案中还可以将第一拼接特征拷贝到主干网络2的输出层，使得主干网络2输出的局部特征能够与第一拼接特征相融合。使得在本方案的主干网络2之后，还能够对测试者的RUS成熟度预测，即本方案可同时进行骨龄预测以及RUS成熟度预测，因此本方案的识别结果相比于现有技术能够提供更多识别信息。

即，针对同一手骨全图，本方案的双骨龄预测模型不仅在识别效率上更高，而且可以实现骨龄预测和RUS成熟度预测的双骨龄预测任务，因此得到的结果更丰富。

为实现该效果，如图3所示，在本方案中将N个骨骺局部特征，输入GCN网络获得N个深加工局部特征；将每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

在一个实施例中，本方案通过共享特征提取网络提取各个骨骺区域的局部特征，并通过GCN充分挖掘局部特征信息以及局部特征间关联关系，从而得到共享局部特征。共享局部特征与局部特征的数量所对应，且相比于局部特征，共享局部特征能够捕获到更丰富和复杂的特征，因此回归得到的成熟度评估分布图的评估结果准确率更高。

为实现上述效果，本方案中每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

如图3所示，初始局部特征F1、F2、F3...Fn相互特征交换，得到共享局部特征FF1、FF2、FF3...FFn，每个共享局部特征在输出层2中进行回归得到一RUS成熟度预测分布图。

示例性的，以下结合实施例附图介绍本方案的X片图像中骨龄检测及评估方法的全过程：

如附图6所示，本方案构建了基于卷积神经网络的多任务骨龄评估方法，该方法主要包括手部区域检测、建剖学关键点检测及局部骨骺区域裁切、基于卷积神经网络的双骨龄预测模型。在本方案中，先对X光图像进行手部区域检测以去除一些噪声干扰，接着对检测到的手部区域进行关键点检测，根据检测到的关键点裁切不同的解剖学骨骺区域，最后把手部图像和骨骺区域图像输入所构建的基于卷积神经网络的双骨龄预测模型进行结果预测。以下为详细步骤：

步骤A：对X光图像进行手部区域检测得到手部区域图像，排除掉一些噪声和伪影的干扰。

步骤B：对手部区域图像进行手部关键点检测，根据关键点位置裁切出13个不同的待评级骨骺区域图像。

步骤C：构建基于卷积神经网络的双骨龄预测模型，将手部区域图像和骨骺区域图像以及临床性别信息一同作为输入，得到总体骨龄评估结果和对不同骨骺区域的成熟度评级结果。

需要说明的是，在对基于卷积神经网络的双骨龄预测模型进行训练时，骨龄的标注来自GP图谱法，骨骺区域成熟度评级的标注来自中华05方法，所以本发明的方法适用于我国青少年的临床骨龄评估诊断。

其中步骤A和步骤B的详细过程如附图2所示。

在步骤A中，首先将输入的X光图像调整大小为640*640，接着输入CNN检测模型中，最后根据得到的手部区域检测框对X光图像进行裁切获得手部区域图像。受临床设备等因素影响，采集到的X光图像内手部占比差异较大（比如说图像内出现很长的一段小臂使得手部的占比变少），还可能存在一些噪声和伪影的干扰，所以准确地将手部从背景中检测出来是必要的。

在步骤B中，将步骤A获得的手部区域图像调整大小为256*256，输入CNN关键点定位模型中进行关键点检测。根据关键点检测结果对不规范的手部区域进行调整，如翻转和旋转，使其便于接下来的局部骨骺区域裁剪。然后以关键点为中心按一定的长宽相对比例进行骨骺区域图像的裁切。

在步骤C中，将手部区域图像和骨骺区域图像以及临床性别信息一同输入所构建的基于卷积神经网络的双骨龄预测模型，模型网络结构图如附图3所示，具体步骤如下：

步骤C-1：将手部区域图像调整大小为512*512，使用Hrnet-w32高分辨率模型对整个手部区域图像进行卷积操作，提取全局特征；

步骤C-2：将13个骨骺区域图像都调整大小为128*128，分别输入到共享的局部特征提取模块中，得到对应于不同骨骺区域的局部特征。共享的局部特征提取模块可以有不同的设计，在此以Mobilenetv3+图卷积为例：使用Mobilenetv3轻量级模型对不同的骨骺区域图像分别提取特征，得到初始的局部特征；

步骤C-3：用1*32的全连接层对临床性别信息进行运算操作，将临床性别信息从1维转化为32维，得到性别特征。

步骤C-4：在FC层将手部全局特征和性别特征进行拼接，得到第一拼接特征，将第一拼接特征输入全连接层与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征，对一维融合特征进行回归获得骨龄评估数值结果。

步骤C-5：将所有初始的局部特征同时输入GCN网络中进行信息交换和融合，输出包含上下文信息的深加工局部特征，将深加工局部特征与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

综上，本发明提供了一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，在本方案的双骨龄预测模型中包含了骨龄评估任务和多个骨骺区域的成熟度评级任务，训练过程采用的是多任务学习策略，损失函数包括两部分，骨龄评估任务的回归损失和多个骨骺区域成熟度评级损失，表示为：

其中，L _global 为骨龄评估任务的回归损失，L _local 为多个骨骺区域成熟度评级损失，α为超参数，控制L _global 和L _local 的相对权重。回归损失采用的是平均绝对误差，表示为：

其中，N为训练样本数量，y为骨龄真实值，

为模型得到的骨龄估计值。局部骨骺损失在交叉熵损失基础上，添加了平均绝对误差损失，使得模型预测的概率分布，其均值更接近真实值，其不确定性变得更小。交叉熵用于度量两个离散概率分布之间的差异性，交叉熵损失衡量了模型的分类准确程度，表示为：

其中，N为训练样本数量，M为待评级的骨骺区域数量（此处为13），C _k 为待评级的骨骺区域所对应的成熟度等级数，不同的骨骺区域对应的成熟度等级数如表1所示。

表 1解剖学骨骺区域RUS对应的成熟度等级数

为证明本发明的骨龄评估模型实验效果，在相同数据集上与当前主流模型和先进的骨龄评估模型进行对比，对比结果如表1所示，评价指标为最流行的骨龄评估评价指标：平均绝对误差（Mean absolute error）。

平均绝对误差是骨龄评估误差的直观展示。在手部X光图像数据集中进行对比试验，与当前主流模型和先进的骨龄评估模型（Bonet）作比较。从表2可以看出在本发明模型的平均绝对误差远低于主流模型，比起先进骨龄评估方法的误差也有所下降。

表 2骨龄评估对比实验结果

实施例二

基于相同的构思，参考图4，本申请还提出了一种基于多任务卷积神经网络的骨龄评估装置，包括：

获取模块401，用于获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；

模型构建模块402，用于构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；

全部特征提取模块403，用于根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；

性别特征提取模块404，用于根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；

局部特征提取模块405，用于根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；

融合模块406，用于将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；

GP图谱骨龄评估模块407，用于对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；

RUS骨龄评估模块408，用于将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

实施例三

本实施例还提供了一种电子装置，参考图5，包括存储器504和处理器502，该存储器504中存储有计算机程序，该处理器502被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器502可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器504可以包括用于数据或指令的大容量存储器504。举例来说而非限制，存储器504可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器504可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器504可在数据处理装置的内部或外部。在特定实施例中，存储器504是非易失性（Non-Volatile）存储器。在特定实施例中，存储器504包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器504（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器504可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器502所执行的可能的计算机程序指令。

处理器502通过读取并执行存储器504中存储的计算机程序指令，以实现上述实施例中的任意一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

可选地，上述电子装置还可以包括传输设备506以及输入输出设备508，其中，该传输设备506和上述处理器502连接，该输入输出设备508和上述处理器502连接。

传输设备506可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备506可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备508用于输入或输出信息。在本实施例中，输入的信息可以是矫正手部图像和骨骺区域图像块以及临床性别信息等，输出的信息可以是总体骨龄评估结果和对不同骨骺区域的成熟度评级结果等。

可选地，在本实施例中，上述处理器502可以被设置为通过计算机程序执行以下步骤：

S101、获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像。

S102、构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得。

S103、根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征。

S104、根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征。

S105、根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征。

S106、将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征。

S107、对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果。

S108、将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例一，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法包括：

获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；

构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；

根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；

根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；

根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；

将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；

对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；

将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

2.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第一卷积神经网络以多张手骨全图样本作为输入，以骨龄确定值作为监督对第一卷积神经网络进行训练得到，其中骨龄确定值由GP图谱法进行确定。

3.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，第二卷积神经网络以同一手骨全图中固定生物解剖位置的待评级骨骺区域图像样本作为输入，以骨骺区域RUS成熟度确定值作为监督对第二卷积神经网络进行训练得到，其中骨骺区域RUS成熟度确定值由RUS计分法进行确定。

4.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，“将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征”包括：

将目标性别特征与手部全局特征通过第一全连接层进行拼接，得到第一拼接特征，将第一拼接特征输入到全连接层并与拷贝来的所有骨骺局部特征进行拼接得到一维融合特征。

5.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，所述方法还包括：每一个局部骨骺图依次输入第二卷积神经网络中并共享网络权值，然后同时输入到GCN网络进行信息交换和融合，输出包含上下文信息的深加工局部特征，基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

6.根据权利要求5所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，“基于深加工特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图”包括：

将N个骨骺局部特征，输入GCN网络获得N个深加工局部特征；将每个深加工局部特征分别与拷贝的性别特征拼接获得第二拼接特征，将所有第二拼接特征进行回归操作得到对应的骨骺区域的RUS成熟度评估分布图。

7.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，骨骺区域图像的获取步骤包括：

对手骨全图样本进行手部关键点检测，得到多个根据固定生物解剖位置的关键点坐标，根据关键点坐标裁切出对应的骨骺区域图像。

8.根据权利要求1所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法，其特征在于，获取关键点坐标中的手指掌骨两端关键点，以手指掌骨两端关键点连线方向将手骨全图样本旋转至中指掌骨两端关键点连线方向垂直于水平方向的方向获得矫正手部图像，其中，该矫正手部图像是标准化的手骨全图；

以关键点为中心，根据预设长宽比例在矫正手部图像中裁剪出对应的骨骺区域图像。

9.一种基于多任务卷积神经网络的骨龄评估装置，其特征在于，包括：

获取模块，用于获取测试者对应的手骨全图、性别信息以及从手骨全图中提取出的对应每个待评级骨骺区域的骨骺区域图像；

模型构建模块，用于构建联合全局及局部卷积神经网络特征的双骨龄预测模型，双骨龄预测模型包含第一卷积神经网络、第二卷积神经网络和GCN网络，第一卷积神经网络用于全图特征提取，第二卷积神经网络和GCN网络用于局部特征提取，双骨龄预测模型通过GP图谱骨龄全局监督和RUS成熟度局部监督联合训练框架逐步交替训练获得；

全局特征提取模块，用于根据双骨龄预测模型的第一卷积神经网络对手骨全图进行卷积网络特征提取操作，得到手部骨骼全局特征；

性别特征提取模块，用于根据双骨龄预测模型的全连接层从性别信息中提取出目标性别特征；

局部特征提取模块，用于根据双骨龄预测模型的局部特征提取网络依次对每个骨骺区域图像进行卷积网络特征提取操作，得到每个骨骼区域图像对应的骨骺局部特征；

融合模块，用于将手部全局特征、目标性别特征以及所有骨骺局部特征拼接成一维融合特征；

GP图谱骨龄评估模块，用于对融合特征进行回归操作得到手骨全图的图谱骨龄评估分布图，基于图谱骨龄评估分布图确定GP图谱骨龄评估结果；

RUS骨龄评估模块，用于将所有骨骺局部特征输入到图卷积神经网络获得骨骺深加工局部特征，对每个骨骺深加工局部特征局部特征进行回归操作得到每个骨骺区域图像对应的RUS评估分布图，基于每个RUS评估分布图确定一个RUS成熟度值，并通过汇总所有RUS成熟度值获得RUS骨龄评估结果。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至8任一项所述的基于联合全局及局部卷积神经网络特征的双骨龄评估方法。

Images