CN107591200A - 基于深度学习及影像组学的骨龄标记识别评估方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习及影像组学的骨龄标记识别评估方法及系统，其中骨龄标记识别方法包括：对手腕部骨骼影像进行调窗、对齐、标准化的预处理；用bounding box标记出骨龄特征区域并记录坐标，骨龄特征区域包括符合TW3法的掌指骨群和腕骨群；根据需要增广处理，同时输入到基于ResNet‑101的区域的卷积神经网络中进行多任务(定位、分类、评估)训练；基于骨龄特征区域结合临床信息(人口统计特征，检查报告)进一步训练提升骨龄评估速度及准确率。本发明先利用少量已标记样本对骨龄模型初步训练，并利用较高定位检测精度的模型对大量样本进行自动标记从而实现了自动化骨龄特征区域定位、分类和骨龄评估。

Description

基于深度学习及影像组学的骨龄标记识别评估方法及系统

技术领域

本发明涉及医疗影像处理领域，特别涉及一种基于深度学习及影像组学的骨龄标记识别评估方法及系统。

背景技术

早期时，一般由医师根据拍得的人体手腕部的X光片进行解读及评分来获得骨龄信息，通常采用计数法、图谱法、评分法和计算机骨龄评分系统等评分方法，最常用的是G-P图谱法(Greulich and Pyle两人制作的骨龄图谱，简称G-P图谱)。另外，根据骨龄预测成年身高通常有B-P法(Bayley和Pinneau两人提出的预测成年身高的百分数法)、CHN法(中国人手腕骨发育标准)、TW3法(Tanner和Whitehouse提出的骨龄计分方法，简称TW法，现为第三次修订)等。这些方法主要存在以下几个缺点：一是标准图谱的准确度对检测结果影响大；二是医师对比影像和图谱时会受主观因素影响，个体差异大；三是检测时间较长。目前，已有一些人工智能专家逐步将机器学习算法引入到医疗影像检测分析领域，常用的算法如SVM(Support Vector Machines，支持向量机)、隐马尔可夫模型(Hidden Markov Model，HMM)以及随机森林(random decision forests，随机决策森林)等，尽管这些方法在其他许多领域已获得较合理的准确率，但这些方法中由于特征选取难度较大、模型可能存在过拟合问题、泛化能力难以保证、难以适应大规模数据集等原因，它们在医学影像分析中仍存在很多不足，且识别准确率较低。卷积神经网络(Convolutional Neural Networks，CNN)是神经网络中的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量，该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。因此，CNN在二维图像处理上有众多优势，如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构；在处理二维图像问题上，特别是识别位移、缩放及其它形式扭曲不变性的应用上具有良好的鲁棒性和运算效率等。鉴于由很多隐含层组成的深度神经网络在网络的底端就可以学习到图像的细节特征，再往上是对上一层特征的组合抽象，经过一层一层的组合抽象最终会得到一个复杂的图像，在将卷积神经网络和深度神经网络进行结合后，深度卷积神经网络在图像识别就具有天然的优势，特别是随着深度卷积神经网络不断刷新计算机视觉物体识别ImageNet比赛的记录，深度学习正在计算机图像处理方面发展得如火如荼，目前也已有一些学者将深度学习方法引入到骨龄检测中来，也取得了不错的识别结果。

现有技术中Journal Of Digital Imaging(数字影像学报)于2017年3月8日网络出版的哈佛大学医学院Synho Do等人的研究论文Fully Automated Deep LearningSystem for Bone Age Assessment(基于深度学习的全自动骨龄鉴定系统)，该论文主要介绍了一种基于深度学习的骨龄评估系统，系统实现时主要采用的思路是：通过选择GoodLeNet模型以及对模型训练，解决了训练数据量较少的情况下，再通过迁移学习后获得较高准确率。根据论文给出的结果，这套系统已在临床上使用，可以在2秒内给出被测者的骨龄数据，可达到的准确率：1年误差达到90.39％(女孩)和94.18％(男孩)，2年误差达到98.11％(女孩)和99.00％(男孩)。上述论文虽然解决了训练数据量较少的问题，并在提高骨龄评估速度的基础上获得较好准确率，但仍需要在整张影像图像中学习中间不可解释的特征来完成骨龄预测，由于数据量较少、特征提取区域的不确定与临床方法差别较大等原因，评估准确率、速度及泛化能力仍有提高空间。

发明内容

本发明要解决的技术问题是为了克服现有技术中虽然解决了训练数据量较少的问题，并在提高骨龄评估速度的基础上获得较好准确率，但仍需要在整张影像图像中学习中间特征来完成骨龄预测，由于数据量较少、特征提取区域的不确定与临床方法差别较大等原因，评估准确率、速度及泛化能力仍有提高空间的缺陷，提供一种基于深度学习及影像组学的骨龄标记识别评估方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

一种基于深度学习及影像组学的骨龄标记方法，其特点是，包括：

S1、将待标记的手腕部骨骼影像数据输入到基于RCNN(Regions with CNN，基于候选区域目标检测)的BoneNet(骨龄网络)模型，所述BoneNet模型包括ResNet网络(ResidualNetwork，残差网络)结构，所述ResNet网络结构也用于所述BoneNet模型的迁移学习；

其中，鉴于平常惯用右手者(右利型)其右手各骨的发育会比左手成熟些，相反，左手者(左利型)则左手骨发育会比对侧成熟些。因此，这里的手腕部骨骼影像数据，右利型则用左手X光片，反之亦然。另外，手腕部骨骼影像数据为符合DICOM(Digital Imaging andCommunications in Medicine，医学数字成像和通信)影像数据格式。

S2、标记出所述待标记的手腕部骨骼影像数据中骨龄特征区域的bounding box(候选区域框)的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

S3、根据需要微调所述bounding box的坐标，并记录所述bounding box的坐标。

较佳地，所述ResNet网络结构包括ResNet-101网络。其中所述ResNet-101网络为层数为101层的ResNet网络。

较佳地，在所述步骤S1前，所述基于深度学习及影像组学的骨龄标记方法还包括：

S0、利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

较佳地，所述步骤S2具体包括：

S21、将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；

S22、根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标；

S23、对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。

较佳地，在所述步骤S3之后，所述基于深度学习及影像组学的骨龄标记方法还包括：

S4、利用已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型；

S5、重复所述步骤S1-S4，直到训练所述BoneNet模型满足预设要求。

一种基于深度学习及影像组学的骨龄识别方法，其特点是，包括：

A、获取待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量；

B、利用上面所述基于深度学习及影像组学的骨龄标记方法的所述BoneNet模型标记出所述待识别的手腕部骨骼影像数据的所述骨龄特征区域；

C、利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型；

D、定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量；

E、重复所述步骤A-D，直到训练所述BoneNet模型定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

较佳地，所述BoneNet模型还包括骨龄评估分类器，所述骨龄评估分类器采用stacking ensemble方法，所述stacking ensemble方法包括随机森林、KNN、boosting算法，所述随机森林、所述KNN、所述boosting算法均用于在所述骨龄评估分类器中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法用于在所述骨龄评估分类器中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习。

较佳地，在所述步骤A中还获取所述待识别的手腕部骨骼影像数据相应临床信息，所述临床信息包括年龄、性别，

在所述步骤D前，所述基于深度学习及影像组学的骨龄识别方法还包括：

D0、利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器。

一种基于深度学习及影像组学的骨龄评估方法，其特点是，包括：

L、获取待评估的手腕部骨骼影像数据及相应临床信息，所述临床信息包括年龄、性别；

M、利用包括上述步骤D0的所述基于深度学习及影像组学的骨龄识别方法的所述BoneNet模型依据所述待评估的手腕部骨骼影像数据及相应临床信息定位分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心和骨骼数量；

N、输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。

一种基于深度学习及影像组学的骨龄标记系统，其特点是，包括：输入模块、BoneNet模型、微调模块、记录模块；

所述输入模块用于将待标记的手腕部骨骼影像数据输入到基于RCNN的BoneNet模型，所述BoneNet模型包括ResNet网络结构，所述ResNet网络结构也用于所述BoneNet模型的迁移学习；

所述BoneNet模型用于对输入的所述待标记的手腕部骨骼影像数据标记出骨龄特征区域的bounding box的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

所述微调模块用于根据需要微调所述bounding box的坐标；

所述记录模块用于记录所述bounding box的坐标。

较佳地，所述ResNet网络结构包括ResNet-101网络。其中所述ResNet-101网络为层数为101层的ResNet网络。

较佳地，所述骨龄标记系统还包括第一训练模块，所述第一训练模块用于利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

较佳地，所述BoneNet模型还包括预处理单元、标记单元、增广处理单元；

所述预处理单元用于将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；

所述标记单元根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标；

所述增广处理单元用于对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。

较佳地，所述基于深度学习及影像组学的骨龄标记系统还包括第二训练模块，所述第二训练模块用于利用已标记出所述bounding box及坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型；所述第二训练模块还用于重复调用所述输入模块、所述BoneNet模型、所述微调模块和所述记录模块，直到训练所述BoneNet模型满足预设要求。

一种基于深度学习及影像组学的骨龄识别系统，其特点是，包括：第一获取模块、上面所述基于深度学习及影像组学的骨龄标记系统的所述BoneNet模型、第三训练模块；

所述第一获取模块用于获取所述待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量；

所述骨龄标记系统的所述BoneNet模型用于标记出所述待识别的手腕部骨骼影像数据的所述骨龄特征区域，还用于定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量；

所述第三训练模块用于利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型，还用于重复调用所述第一获取模块、所述BoneNet模型，直到训练所述BoneNet模型定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

较佳地，所述BoneNet模型还包括骨龄评估分类器，所述骨龄评估分类器采用stacking ensemble方法，所述stacking ensemble方法包括随机森林、KNN、boosting算法，所述随机森林、所述KNN、所述boosting算法均用于在所述骨龄评估分类器中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法用于在所述骨龄评估分类器中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习。

较佳地，所述第一获取模块还用于获取所述待识别的手腕部骨骼影像数据相应临床信息，所述临床信息包括性别、年龄；

所述第三训练模块还用于在调用所述BoneNet模型定位分类所述骨龄特征区域及相应骨化中心和骨骼数量前利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器。

一种基于深度学习及影像组学的骨龄评估系统，其特点是，包括：第二获取模块、上面所述基于深度学习及影像组学的骨龄识别系统的具有定位分类所述骨龄特征区域及相应骨化中心和骨骼数量功能的所述BoneNet模型、输出模块；

所述第二获取模块用于获取待评估的手腕部骨骼影像数据及相应临床信息，所述临床信息包括年龄、性别；

所述BoneNet模型用于依据所述待评估的手腕部骨骼影像数据及相应所述临床信息定位分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心和骨骼数量；

所述输出模块用于输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。

本发明的积极进步效果在于：本发明提供的基于深度学习及影像组学的骨龄标记识别评估方法及系统，其中，基于深度学习及影像组学的骨龄标记方法及系统首先利用少量已标记出与骨龄密切相关的骨龄特征区域来训练基于RCNN的BoneNet模型，然后再利用所述骨龄标记方法及系统的所述BoneNet模型对未标记数据进行标记从而形成大量已标记数据解决训练数据量不足的问题，并利用这些大量已标记数据进一步训练出稳定、识别准确性高的BoneNet模型；基于深度学习及影像组学的骨龄识别方法及系统是在所述骨龄标记方法及系统的基础上，进一步融合临床信息来训练出近似端到端的多任务学习的BoneNet模型；基于深度学习及影像组学的骨龄评估方法及系统是在近似端到端的所述骨龄识别方法及系统的BoneNet模型基础上，通过将待评估的手腕部骨骼影像数据结合其相应临床信息，经过所述骨龄识别方法及系统的BoneNet模型实现自动化地输出骨龄数据。本发明在对900例0-9岁的X光片评估中，骨龄评估结果为：识别速度不大于0.3s，平均识别准确率达98％，骨龄的平均绝对误差(Mean Absolute Error，MAE)达0.4岁，所以本发明具有更快识别速度、更高识别准确率。

附图说明

图1为本发明的实施例1的基于深度学习及影像组学的骨龄标记方法的流程图。

图2为本发明的实施例2的基于深度学习及影像组学的骨龄识别方法的流程图。

图3为本发明的实施例3的基于深度学习及影像组学的骨龄评估方法的流程图。

图4为本发明的实施例4的基于深度学习及影像组学的骨龄标记系统的示意图。

图5为本发明的实施例5的基于深度学习及影像组学的骨龄识别系统的示意图。

图6为本发明的实施例6的基于深度学习及影像组学的骨龄评估系统的示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

如图1所示，本实施例的基于深度学习及影像组学的骨龄标记方法，包括：

101、将待标记的手腕部骨骼影像数据输入到基于RCNN的BoneNet模型，所述BoneNet模型包括ResNet网络结构，所述ResNet网络结构也用于所述BoneNet模型的迁移学习；

具体实施中，鉴于平常惯用右手者(右利型)其右手各骨的发育会比左手成熟些，相反，左手者(左利型)则左手骨发育会比对侧成熟些。因此，这里的手腕部骨骼影像数据，右利型则用左手X光片，反之亦然。另外，手腕部骨骼影像数据为符合DICOM(DigitalImaging and Communications in Medicine，医学数字成像和通信)影像数据格式；

进一步，所述ResNet网络结构采用ResNet-101网络。其中所述ResNet-101网络为层数为101层的ResNet网络，使用101层的ResNet网络既保证ResNet网络有足够深度，还能取得良好效果；

102、标记出所述待标记的手腕部骨骼影像数据中骨龄特征区域的bounding box的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

进一步，步骤102具体包括：首先，将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；其次，根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标并保存；然后，对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。具体实施中，预处理对数据进行成立，形成统一化数据格式，便于后续处理，从而提高处理速度；增广处理进一步增加训练样本数量，提高训练效果；

103、根据需要微调所述bounding box的坐标，并记录所述bounding box的坐标。

具体实施中，一般在所述BoneNet模型训练样本不多的情况下可能需要人工参与微调实现半自动标记，但当所述BoneNet模型训练较成熟后就可实现自动化标记。

进一步，在上述步骤101-103后，本实施例中还包括：

104、利用已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型；

105、重复所述步骤101-104，直到训练所述BoneNet模型满足预设要求。

通过上述步骤101-105，可以对待标记的手腕部骨骼影像数据进行标记，即在早期可采用人工参与微调的方式实现半自动标记样本，从而在大大减轻人工标记工作量的同时，也可获得大量已标记样本用于进一步训练BoneNet模型，使得BoneNet模型更成熟，标记准确性更高。

进一步，在所述步骤101前，本实施例中还包括：

100、利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

其中，通过步骤100首先对BoneNet模型完成初步训练，使得BoneNet模型获取到相关特征从而便于步骤101-103对待标记的手腕部骨骼影像数据进行较快、较准确的标记。在具体实施中，通过选取100例人工已标记的手腕部骨骼影像数据用于步骤100对BoneNet模型完成初步训练，本实施例就能对待标记的手腕部骨骼影像数据进行自动标记，基本无需人工参与，就能获得良好效果标记效果，从而大大降低了人工样本标记要求。

实施例2

如图2所示，本实施例的基于深度学习及影像组学的骨龄识别方法包括：

201、获取待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量；

进一步，还获取所述待识别的手腕部骨骼影像数据相应的临床信息，所述临床信息包括年龄、性别；

202、利用如实施例1中所述基于深度学习及影像组学的骨龄标记方法的所述BoneNet模型标记出所述待识别的手腕部骨骼影像数据的所述骨龄特征区域；

进一步，所述BoneNet模型还包括骨龄评估分类器，所述骨龄评估分类器采用stacking ensemble方法，所述stacking ensemble方法包括随机森林、KNN、boosting算法，所述随机森林、所述KNN、所述boosting算法均用于在所述骨龄评估分类器中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法用于在所述骨龄评估分类器中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习；

203、利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型；

其中，通过将所述检查报告作为附加特征结合所述骨龄特征区域来训练所述BoneNet模型，使得所述BoneNet模型能够更快、更准地定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量的功能；

204、利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器；

其中，通过将所述临床信息作为附加特征结合所述骨龄特征区域来训练所述骨龄评估分类器，使得所述BoneNet模型能够更快、更准地定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量的功能；

205、定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量；

206、重复所述步骤201-205，直到训练所述BoneNet模型定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

通过上述步骤201-206后，所述BoneNet模型能够自动化地对所述待识别的手腕部骨骼影像数据定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，从而便于后续进行基于所述骨龄特征区域及相应骨化中心和骨骼数量等信息的多任务处理和应用。

实施例3

如图3所示，本实施例的基于深度学习及影像组学的骨龄评估方法包括：

301、获取待评估的手腕部骨骼影像数据及相应临床信息，所述临床信息包括年龄、性别；

302、利用如实施例2中所述基于深度学习及影像组学的骨龄识别方法的所述BoneNet模型依据所述待评估的手腕部骨骼影像数据及相应临床信息定位分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心和骨骼数量；

303、输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。

通过上述步骤301-303，利用所述BoneNet模型实现了自动化地对所述待评估的手腕部骨骼影像数据进行快速、高效的骨龄评估，并直接获得骨龄数据。本实例中，在对900例0-9岁的X光片评估中，骨龄评估结果为：识别速度不大于0.3s，平均识别准确率达98％，骨龄的平均绝对误差MAE达0.4岁，实现了更快识别速度、更高识别准确率的目标。

实施例4

如图4所示，本实施例的基于深度学习及影像组学的骨龄标记系统1，包括：输入模块11、BoneNet模型12、微调模块13、记录模块14；

所述输入模块11用于将待标记的手腕部骨骼影像数据输入到基于RCNN的BoneNet模型12，所述BoneNet模型12包括ResNet网络结构121，所述ResNet网络结构121用于所述BoneNet模型12的迁移学习；

进一步，所述ResNet网络结构121包括ResNet-101网络，其中所述ResNet-101网络为层数为101层的ResNet网络；

所述BoneNet模型12用于对输入的所述待标记的手腕部骨骼影像数据标记出骨龄特征区域的bounding box的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

所述微调模块13用于根据需要微调所述bounding box的坐标；

所述记录模块14用于记录所述bounding box的坐标。

进一步，所述基于深度学习及影像组学的骨龄标记系统1还包括第一训练模块15，所述第一训练模块15用于利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型12，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

进一步，所述BoneNet模型还包括预处理单元122、标记单元123、增广处理单元124，所述预处理单元122用于将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；

所述标记单元123根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标；

所述增广处理单元124用于对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。

进一步，所述基于深度学习及影像组学的骨龄标记系统1还包括第二训练模块16，所述第二训练模块16用于利用已标记出所述bounding box及坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型12；所述第二训练模块16还用于重复调用所述输入模块11、所述BoneNet模型12、所述微调模块13和所述记录模块14，直到训练所述BoneNet模型12满足预设要求。

实施例5

如图5所示，本实施例的基于深度学习及影像组学的骨龄识别系统2，包括：第一获取模块21、如实施例4中所述基于深度学习及影像组学的骨龄标记系统1的所述BoneNet模型12、第三训练模块22；

所述第一获取模块21用于获取待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量，还用于获取所述待识别的手腕部骨骼影像数据相应临床信息，所述临床信息包括性别、年龄；

所述基于深度学习及影像组学的骨龄标记系统1的所述BoneNet模型12用于标记出所述待分类的手腕部骨骼影像数据的所述骨龄特征区域；

所述第三训练模块22用于利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型12，还用于重复调用所述第一获取模块21、所述BoneNet模型12，直到训练所述BoneNet模型12定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

进一步，所述BoneNet模型12还包括骨龄评估分类器125，所述骨龄评估分类器125包括stacking ensembles方法1251，所述stacking ensemble方法1251包括随机森林12511、KNN 12512、boosting算法12513，所述随机森林12511、所述KNN 12512、所述boosting算法12513均用于在所述骨龄评估分类器125中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法1251用于在所述骨龄评估分类器125中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习。

进一步，所述第三训练模块22还用于在调用所述BoneNet模型12定位分类所述骨龄特征区域及相应骨化中心和骨骼数量前利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器125。

实施例6

如图6所示，本实施例的基于深度学习及影像组学的骨龄评估系统，包括：第二获取模块31、如实施例5中所述基于深度学习及影像组学的骨龄识别系统2的所述BoneNet模型12、输出模块32，

所述第二获取模块31用于获取待评估的手腕部骨骼影像数据及相应所述临床信息；

所述基于深度学习及影像组学的骨龄识别系统2的所述BoneNet模型12用于依据所述待评估的手腕部骨骼影像数据及相应临床信息分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心数量；

所述输出模块32用于输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (18)

1.一种基于深度学习及影像组学的骨龄标记方法，其特征在于，包括：

S1、将待标记的手腕部骨骼影像数据输入到基于RCNN的BoneNet模型，所述BoneNet模型包括ResNet网络结构，所述ResNet网络结构也用于所述BoneNet模型的迁移学习；

S2、标记出所述待标记的手腕部骨骼影像数据中骨龄特征区域的bounding box的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

S3、根据需要微调所述bounding box的坐标，并记录所述bounding box的坐标。

2.如权利要求1所述的基于深度学习及影像组学的骨龄标记方法，其特征在于，所述ResNet网络结构包括ResNet-101网络。

3.如权利要求1所述的基于深度学习及影像组学的骨龄标记方法，其特征在于，在所述步骤S1前，所述基于深度学习及影像组学的骨龄标记方法还包括：

S0、利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

4.如权利要求1所述的基于深度学习及影像组学的骨龄标记方法，其特征在于，所述步骤S2具体包括：

S21、将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；

S22、根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标；

S23、对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。

5.如权利要求1所述的基于深度学习及影像组学的骨龄标记方法，其特征在于，在所述步骤S3之后，所述基于深度学习及影像组学的骨龄标记方法还包括：

S4、利用已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型；

S5、重复所述步骤S1-S4，直到训练所述BoneNet模型满足预设要求。

6.一种基于深度学习及影像组学的骨龄识别方法，其特征在于，包括：

A、获取待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量；

B、利用如权利要求1-5中任一项所述基于深度学习及影像组学的骨龄标记方法的所述BoneNet模型标记出所述待识别的手腕部骨骼影像数据的所述骨龄特征区域；

C、利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型；

D、定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量；

E、重复所述步骤A-D，直到训练所述BoneNet模型定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

7.如权利要求6所述的基于深度学习及影像组学的骨龄识别方法，其特征在于，所述BoneNet模型还包括骨龄评估分类器，所述骨龄评估分类器采用stacking ensemble方法，所述stacking ensemble方法包括随机森林、KNN、boosting算法，所述随机森林、所述KNN、所述boosting算法均用于在所述骨龄评估分类器中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法用于在所述骨龄评估分类器中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习。

8.如权利要求7所述的基于深度学习及影像组学的骨龄识别方法，其特征在于，在所述步骤A中还获取所述待识别的手腕部骨骼影像数据相应临床信息，所述临床信息包括年龄、性别，

在所述步骤D前，所述基于深度学习及影像组学的骨龄识别方法还包括：

D0、利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器。

9.一种基于深度学习及影像组学的骨龄评估方法，其特征在于，包括：

L、获取待评估的手腕部骨骼影像数据及相应临床信息，所述临床信息包括年龄、性别；

M、利用如权利要求8所述基于深度学习及影像组学的骨龄识别方法的所述BoneNet模型依据所述待评估的手腕部骨骼影像数据及相应临床信息定位分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心和骨骼数量；

N、输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。

10.一种基于深度学习及影像组学的骨龄标记系统，其特征在于，包括：输入模块、BoneNet模型、微调模块、记录模块，

所述输入模块用于将待标记的手腕部骨骼影像数据输入到基于RCNN的BoneNet模型，所述BoneNet模型包括ResNet网络结构，所述ResNet网络结构也用于所述BoneNet模型的迁移学习；

所述BoneNet模型用于对输入的所述待标记的手腕部骨骼影像数据标记出骨龄特征区域的bounding box的坐标，所述骨龄特征区域包括符合TW3法的掌指骨群和腕骨群，所述掌指骨群包括掌骨远端、近节指骨近端、远节指骨近端，所述腕骨群包括桡骨、尺骨、腕骨；

所述微调模块用于根据需要微调所述bounding box的坐标；

所述记录模块用于记录所述bounding box的坐标。

11.如权利要求10所述的基于深度学习及影像组学的骨龄标记系统，其特征在于，所述ResNet网络结构包括ResNet-101网络。

12.如权利要求10所述的基于深度学习及影像组学的骨龄标记系统，其特征在于，所述基于深度学习及影像组学的骨龄标记系统还包括第一训练模块，所述第一训练模块用于利用若干已标记的手腕部骨骼影像数据训练所述BoneNet模型，所述已标记的手腕部骨骼影像数据为已标记出所述骨龄特征区域的bounding box及坐标的手腕部骨骼影像数据。

13.如权利要求10所述的基于深度学习及影像组学的骨龄标记系统，其特征在于，所述BoneNet模型还包括预处理单元、标记单元、增广处理单元，

所述预处理单元用于将所述待标记的手腕部骨骼影像数据进行预处理，所述预处理包括调窗、对齐和按预设像素值标准化所述待标记的手腕部骨骼影像数据；

所述标记单元根据TW3法从已预处理的所述待标记的手腕部骨骼影像数据中标记出若干所述骨龄特征区域相应bounding box的坐标；

所述增广处理单元用于对已标记出所述bounding box的坐标的所述待标记的手腕部骨骼影像数据进行增广处理，所述增广处理包括旋转、放缩、反色。

14.如权利要求10所述的基于深度学习及影像组学的骨龄标记系统，其特征在于，所述基于深度学习及影像组学的骨龄标记系统还包括第二训练模块，所述第二训练模块用于利用已标记出所述bounding box及坐标的所述待标记的手腕部骨骼影像数据训练所述BoneNet模型；所述第二训练模块还用于重复调用所述输入模块、所述BoneNet模型、所述微调模块和所述记录模块，直到训练所述BoneNet模型满足预设要求。

15.一种基于深度学习及影像组学的骨龄识别系统，其特征在于，包括：第一获取模块、如权利要求10-14中任一项所述基于深度学习及影像组学的骨龄标记系统的所述BoneNet模型、第三训练模块，

所述第一获取模块用于获取待识别的手腕部骨骼影像数据及相应检查报告，所述检查报告包括骨化中心类别和数量；

所述骨龄标记系统的所述BoneNet模型用于标记出所述待识别的手腕部骨骼影像数据的所述骨龄特征区域，还用于定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量；

所述第三训练模块用于利用所述检查报告及所述骨龄特征区域训练所述BoneNet模型，还用于重复调用所述第一获取模块、所述BoneNet模型，直到训练所述BoneNet模型定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量满足预定要求。

16.如权利要求15所述的基于深度学习及影像组学的骨龄识别系统，其特征在于，所述BoneNet模型还包括骨龄评估分类器，所述骨龄评估分类器采用stacking ensemble方法，所述stacking ensemble方法包括随机森林、KNN、boosting算法，所述随机森林、所述KNN、所述boosting算法均用于在所述骨龄评估分类器中定位分类出所述骨龄特征区域及相应骨化中心和骨骼数量，所述stacking ensemble方法用于在所述骨龄评估分类器中对已定位分类出的所述骨龄特征区域及相应骨化中心和骨骼数量集成学习。

17.如权利要求16所述的基于深度学习及影像组学的骨龄识别系统，其特征在于，

所述第一获取模块还用于获取所述待识别的手腕部骨骼影像数据相应临床信息，所述临床信息包括性别、年龄；

所述第三训练模块还用于在调用所述BoneNet模型定位分类所述骨龄特征区域及相应骨化中心和骨骼数量前利用所述临床信息及所述骨龄特征区域训练所述骨龄评估分类器。

18.一种基于深度学习及影像组学的骨龄评估系统，其特征在于，包括：第二获取模块、如权利要求17所述基于深度学习及影像组学的骨龄识别系统的所述BoneNet模型、输出模块，

所述第二获取模块用于获取待评估的手腕部骨骼影像数据及相应临床信息，所述临床信息包括年龄、性别；

所述骨龄识别系统的所述BoneNet模型用于依据所述待评估的手腕部骨骼影像数据及相应所述临床信息定位分类出所述待评估的手腕部骨骼影像数据的所述骨龄特征区域及相应骨化中心和骨骼数量；

所述输出模块用于输出所述待评估的手腕部骨骼影像数据对应的骨龄数据，所述骨龄数据包括所述骨龄特征区域及相应骨化中心和骨骼数量、骨龄评估值，所述骨龄评估值为根据TW3法对所述骨龄特征区域及相应骨化中心和骨骼数量的评估值。