CN111920430A - 一种弱监督深度学习自动骨龄评估方法 - Google Patents
一种弱监督深度学习自动骨龄评估方法 Download PDFInfo
- Publication number
- CN111920430A CN111920430A CN202010634057.2A CN202010634057A CN111920430A CN 111920430 A CN111920430 A CN 111920430A CN 202010634057 A CN202010634057 A CN 202010634057A CN 111920430 A CN111920430 A CN 111920430A
- Authority
- CN
- China
- Prior art keywords
- bone age
- hand
- model
- feature
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 4
- 210000002310 elbow joint Anatomy 0.000 claims abstract description 3
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000013077 scoring method Methods 0.000 description 9
- 210000002411 hand bone Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010012559 Developmental delay Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000014461 bone development Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000030172 endocrine system disease Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 208000037824 growth disorder Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/505—Clinical applications involving diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
Abstract
一种弱监督深度学习自动骨龄评估方法，以手部X光片为图像数据，对每张X光片标注骨龄生理解剖学关键点；构建和训练神经网络模型，神经网络模型包括Faster R‑CNN模型和U‑net模型，Faster R‑CNN模型提取手掌骨骼区域和关节区域，关节区域包括手指的指骨关节和肘关节，共16个关节区域；U‑net模型提取手掌骨骼区域的手部特征和手指区域的关键点特征；将所有关键点的打分结果预测值求和，以和值作为骨龄预测值。本发明的优点在于：将医生经验汇聚于数据集中，形成医生群体经验来标注数据集，每次预测用的X光片（图像数据）都可以作为新的元素补充到数据集中，数据集能够不断扩充和累积。
Description
技术领域
本发明涉及医学人工智能领域，特别是一种以深度学习方式自动化评估骨龄的方法。
背景技术
骨龄是反映身体发育成熟度的可靠指标。是儿童骨龄发育的特定年龄标志和特征，反映了机体生物学年龄，能够较为准确评估机体成熟程度。尤其是临床诊治儿童生长发育障碍时，骨龄评定则十分必要，骨龄测定能评价男女儿童的骨发育情况，能早期发现有身高异常的遗传、内分泌疾病，对治疗及监护具有重要作用。
骨龄与时间年龄不同，往往随性别和种族而变化。当前的临床实践中使用手X光片图的骨龄评估一般是有两种广泛使用的方法：Greulich-Pyle（GP）方法和评分方法（例如Tanner Whitehouse）。在GP法中，骨龄是通过将整个手部X光片图从而捕捉整个手的特征参考图谱来估计的。在评分方法中，医生对重点的区域（例如关节）按照一定的规则进行打分，并使用这些分数的加权和来估计骨龄。而评分方法是比GP法更准确可靠的。前人的自动骨龄预测模型多数是仿照Greulich-Pyle方法直接进行全图像分析；少部分同时利用了评分方法和GP方法。这样的模型更加臃肿，运行速度较慢，且无法得到各个关键点的评分。
上述骨龄预测方法都是依靠医生个人的经验来估计骨龄，医生之间的经验难以相互借鉴和融合，个人经验难以定量。
发明内容
本发明的目的在于提供一种能够将医生经验定量化，并以医生经验为基础建立专业数据集，有利于医生经验的融合和积累，提高骨龄预测准确性的骨龄预测方法。
一种弱监督深度学习自动骨龄评估方法，执行以下操作：1、建立数据集：以手部X光片为图像数据，对每张X光片标注骨龄生理解剖学关键点；2、构建和训练神经网络模型，神经网络模型包括Faster R-CNN模型和U-net模型，Faster R-CNN模型提取手掌骨骼区域和关节区域，关节区域包括手指的指骨关节和肘关节，共16个关节区域；U-net模型提取手掌骨骼区域的手部特征和手指区域的关键点特征，3、对16个关键点特征加一维卷积，获得16个关键点的打分结果预测值；4、将所有关键点的打分结果预测值求和，以和值作为骨龄预测值。
骨龄生理解剖学关键点的标注是指按照骨龄评分方法（如TW3法）进行骨龄生理结构学关键点的位置坐标标注。先提取出手掌骨骼区域，然后在手掌骨骼区域内找到关节区域，同样的，先找到手掌骨骼区域的手部特征，然后进一步找到关节区域的关键点特征。
优选的，步骤2中，利用COCO预训练过的Faster R-CNN模型进行手部检测和手部关键点检测，专家医生标注的关键点利用L1损失函数进行骨龄关键点预测。
优选的，步骤2中，利用U-net进行多尺度特征的提取；在提取到的特征图上，利用关键点检测到的特征所在位置对应的的特征图位置上的特征作为该关键点的特征。
优选的，步骤3中的降维是利用1×1卷积得到的，且最终结果并无直接的标注作为优化引导。
优选的，步骤4中的骨龄预测值是利用L1损失函数引导骨龄预测。
本发明提供了一种新的深度学习框架，称为评分模型。评分模型使用骨龄检测的手X光片作为输入，仅捕捉关键的特征用以预测关键点的评分，最终将关键点评分相加作为骨龄的预测。评分模型的构建是通过评分方法来设计的，以极低的模型复杂度获得了准确的结果。具体来说，本方法需首先训练Faster R-CNN检测方法进行手部检测和手部关键点检测。利用U-net模型处理手部X光片提取手部特征，进而通过检测出的关键点所在位置，进行关键点特征的提取。最终，利用卷积进行关键点的特征更新，并最终将特征降维到一维特征作为关键点打分结果的预测值。最终，将关键点打分结果相加作为骨龄预测值。
本发明的优点在于：1、将医生经验汇聚于数据集中，形成医生群体经验来标注数据集，每次预测用的X光片（图像数据）都可以作为新的元素补充到数据集中，数据集能够不断扩充和累积。2、以关键点打分方式预测骨龄，将16个关键点通过卷积的方式压缩到一维，进而实现骨龄预测。3、通过将医生群体经验汇集在数据集中，以关键点打分的方式将GW骨龄平分方法定量化、数据化，实现计算机自动预测骨龄。4、本发明基于深度学习算法，创造性地提出了一个自动骨龄评估模型，评分模型，通过模仿医生使用的评分方法，通过处理关键点的局部特征来预测评分，模型较小，运算速度快，在预测出骨龄的同时也能预测出手骨关键点的得分，因此在临床上具有推广性。
附图说明
图1是本发明的框架图。
具体实施方式
参照图1
一种弱监督深度学习自动骨龄评估方法，包括以下步骤：
步骤一：数据采集与数据预处理
本发明针对人类的骨龄估计，通过对左手拍摄X光片，通过X光片进行骨龄预测。X光片的拍摄要包含整个手部以及桡骨部分。拍摄之后，请专家医生对关键点所在的位置进行标注。在X光片被模型处理之前，统一经过变换为512×512大小的图片。
步骤二：手势检测和手部关键点检测
利用Faster R-CNN作为手势检测方法进行手部检测和手部关键点检测。其中，FasterR-CNN以ResNet50作为基本模型，在COCO数据集上进行预训练以后再在手骨关键点预测的数据上进行训练。训练过程中以L1损失函数引导Faster RCNN的训练直到收敛。
步骤三：手部特征提取以及关键点特征获取
利用U-net进行手部特征的提取。U-net的上采样支路融合了多尺度特征，能够较好的表达手部特征。在U-net的输出特征图中，对步骤二检测出的关键部位所在位置对应的特征图位置进行映射对应，并以特征图中对应位置的特征作为关键点的特征。根据TW方法标注的关键点有17个，在此特征图上则仅保留17个位置的特征，其余特征全部丢弃。
步骤四：关键点得分预测和骨龄预测
利用1×1卷积进行关键点的特征更新，并最终将关键点的特征降维到一维特征作为关键点得分结果的预测值。利用1×1卷积融合关键点的特征，最终降维到一维，作为得到关键点得分的预测。同医生使用的评分方法，将关键点得分相加，得到最终的骨龄的预测。
以上，步骤二是模型的第一阶段，进行手骨关键点的预测。步骤三和步骤四是模型的第二阶段，进行手骨关键点得分预测和骨龄预测。两阶段的模型都利用L1损失函数进行引导：
L1=|prediction-gt|1
其中，prediction表示预测，gt表示标注。
本发明提出了一种新的深度学习框架，称为医生模仿者（DI），用于预测ROI分数和骨龄，仅在骨龄监督下使用手部透视图。通过模拟医生的诊断物流和评分方法的处理，设计了DI卓越且可解释的结果，模型复杂度极低。特别地，本发明提出了一种基于解剖学的群体卷积（AG-Conv）来预测ROI分数使用ROI的局部特征，并将骨龄预测。本发明中的ROI区域则为关节区域，在临床实践中，有经验的医生可以指定ROI评分考虑了一些患者的特定特征在骨骼上。基于此，本发明开发了一个新的基于双图的注意模块（DGAM）来辅助ROI评分预测基于图的卷积（GConv）块。这两个GConv块计算一个针对ROI特征的关键点得分。与以前的基于图的卷积（GConv）方法不同，我们的新GConv在一张射线照片上构造两张图并根据这两个图同时更新节点的特征。
在RSNA-BAA数据集和一个私有数据集上的实验验证了我们的 DI框架在骨龄预测和ROI评分方面取得了良好的效果。
如图1所示，说明本发明的两阶段医生模仿者的框架。第一阶段（手姿势估计）为Faster R-CNN模型，预测roi的中心位置。在第二阶段，提取ROI的局部特征来预测ROI的得分总结为骨龄预测。基于双图的注意力机制模块（DGAM）计算两个注意力图来帮助预测ROI分数，在特征图上标注特征值。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (5)
1.一种弱监督深度学习自动骨龄评估方法，执行以下操作：1、建立数据集：以手部X光片为图像数据，对每张X光片标注骨龄生理解剖学关键点；2、构建和训练神经网络模型，神经网络模型包括Faster R-CNN模型和U-net模型，Faster R-CNN模型提取手掌骨骼区域和关节区域，关节区域包括手指的指骨关节和肘关节，共16个关节区域；U-net模型提取手掌骨骼区域的手部特征和手指区域的关键点特征，3、对16个关键点特征加一维卷积，获得16个关键点的打分结果预测值；4、将所有关键点的打分结果预测值求和，以和值作为骨龄预测值。
2.权利要求1所述的利用Faster RCNN检测方法进行手部检测和手部关键点检测，其特征在于，步骤2）中，利用COCO预训练过的Faster R-CNN模型进行手部检测和手部关键点检测，专家医生标注的关键点利用L1损失函数进行骨龄关键点预测。
3.权利要求1所述的利用U-net模型提取手部特征的提取和关键点所在位置的特征的提取，其特征在于，步骤3）中，利用U-net进行多尺度特征的提取；在提取到的特征图上，利用关键点检测到的特征所在位置对应的的特征图位置上的特征作为该关键点的特征。
4.权利要求1所述的利用卷积进行关键点的特征更新，并最终将特征降维到一维特征作为关键点打分结果的预测值，其特征在于，步骤4）中的降维是利用1×1卷积得到的，且最终结果并无直接的标注作为优化引导。
5.权利要求1所述的将关键点打分结果相加作为骨龄预测值，特征在于，步骤5）中的骨龄预测值是利用L1损失函数引导骨龄预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634057.2A CN111920430A (zh) | 2020-07-04 | 2020-07-04 | 一种弱监督深度学习自动骨龄评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634057.2A CN111920430A (zh) | 2020-07-04 | 2020-07-04 | 一种弱监督深度学习自动骨龄评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111920430A true CN111920430A (zh) | 2020-11-13 |
Family
ID=73317282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010634057.2A Pending CN111920430A (zh) | 2020-07-04 | 2020-07-04 | 一种弱监督深度学习自动骨龄评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111920430A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094951A (zh) * | 2023-07-25 | 2023-11-21 | 中国医学科学院北京协和医院 | 一种新型的自动骨龄预测算法模型 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN108334899A (zh) * | 2018-01-28 | 2018-07-27 | 浙江大学 | 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法 |
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| WO2019214052A1 (zh) * | 2018-05-08 | 2019-11-14 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-04 CN CN202010634057.2A patent/CN111920430A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107591200A (zh) * | 2017-08-25 | 2018-01-16 | 卫宁健康科技集团股份有限公司 | 基于深度学习及影像组学的骨龄标记识别评估方法及系统 |
| CN107895367A (zh) * | 2017-11-14 | 2018-04-10 | 中国科学院深圳先进技术研究院 | 一种骨龄识别方法、系统及电子设备 |
| CN108334899A (zh) * | 2018-01-28 | 2018-07-27 | 浙江大学 | 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法 |
| WO2019214052A1 (zh) * | 2018-05-08 | 2019-11-14 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094951A (zh) * | 2023-07-25 | 2023-11-21 | 中国医学科学院北京协和医院 | 一种新型的自动骨龄预测算法模型 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6522161B2 (ja) | ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| JP2021504061A (ja) | 脊椎骨折を識別するための３次元医用画像解析の方法及びシステム | |
| Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
| CN113205504A (zh) | 基于知识图谱的人工智能肾肿瘤预测系统 | |
| CN111564223B (zh) | 传染病生存概率的预测方法、预测模型的训练方法及装置 | |
| CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
| CN111178420B (zh) | 一种二维造影图像上冠脉段标注方法及系统 | |
| CN111882538A (zh) | 一种区分肺结核与肿瘤信息的处理系统及信息处理方法 | |
| Deshmukh et al. | Faster region-convolutional neural network oriented feature learning with optimal trained recurrent neural network for bone age assessment for pediatrics | |
| CN110648318A (zh) | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 | |
| Karimi et al. | Automatic lung infection segmentation of Covid-19 in CT scan images | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| KR102639558B1 (ko) | 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법 | |
| CN111920430A (zh) | 一种弱监督深度学习自动骨龄评估方法 | |
| CN115547502B (zh) | 基于时序数据的血透病人风险预测装置 | |
| CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
| CN116645346A (zh) | 肩袖扫描图像的处理方法、电子设备及存储介质 | |
| Raj et al. | PsLSNetV2: End to end deep learning system for measurement of area score of psoriasis regions in color images | |
| Tripathi et al. | Coronavirus: Diagnosis, detection, and analysis | |
| Kasturi et al. | Detecting landmarks in anatomical medical images using transformer-based networks | |
| CN115170492A (zh) | 一种基于ai技术的白内障患者术后视力智能预测评估系统 | |
| CN115719329A (zh) | 基于深度学习对ra超声模态滑膜评分融合的方法及系统 | |
| CN115089112A (zh) | 卒中后认知障碍风险评估模型建立方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |