CN110120266B - 骨骼年龄评估方法 - Google Patents

骨骼年龄评估方法 Download PDF

Info

Publication number
CN110120266B
CN110120266B CN201910568724.9A CN201910568724A CN110120266B CN 110120266 B CN110120266 B CN 110120266B CN 201910568724 A CN201910568724 A CN 201910568724A CN 110120266 B CN110120266 B CN 110120266B
Authority
CN
China
Prior art keywords
bone
image
original
metacarpal
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910568724.9A
Other languages
English (en)
Other versions
CN110120266A (zh
Inventor
张勇东
刘传彬
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910568724.9A priority Critical patent/CN110120266B/zh
Publication of CN110120266A publication Critical patent/CN110120266A/zh
Application granted granted Critical
Publication of CN110120266B publication Critical patent/CN110120266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种骨骼年龄评估方法，包括：基于注意力机制，从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域；基于识别机制，从多个感兴趣骨骼区域中识别出符合要求若干感兴趣骨骼区域，并将识别出的若干感兴趣骨骼区域的特征图与原始掌骨影像X的特征图拼接，得到特征向量C；最终，将识别出的每一感兴趣骨骼区域的特征图、原始掌骨影像X的特征图、以及特征向量C分别经过全连接层后，进行骨龄预测，并将所有预测结果集成，得到骨骼年龄评估结果。该方法具有较高准确性，且评估速度较快。

Description

骨骼年龄评估方法
技术领域
本发明涉及医学影像分析技术领域，尤其涉及一种骨骼年龄评估方法。
背景技术
传统的骨龄评估通常是对被测者的左手掌部和腕部进行X光摄片，然后借助通用标准进行骨龄评估。这一过程严重依赖医生的从业经验，同时也非常耗时。此外，不同人种、气候等条件下骨骼发育有很大差异，因此对应的标准也千差万别，这增加了骨龄评估的复杂性。
为了加快诊断速度、提升诊断精度并减轻医生的负担，基于人工智能的计算机辅助诊断(CAD)应运而生，在骨龄评估中取得了超过人类专家的精度。然而，这些人工智能技术大多引入了特定的标准，通过检测、分割的方法，关注特定的骨骼部位(比如腕骨，近端指骨等等)，这限制了模型的泛化能力，模型也无法端到端训练，从而影响评估结果的准确性。
发明内容
本发明的目的是提供一种骨骼年龄评估方法，具有较高准确性，且评估速度较快。
本发明的目的是通过以下技术方案实现的：
一种骨骼年龄评估方法，包括：
基于注意力机制，从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域；
基于识别机制，从多个感兴趣骨骼区域中识别出符合要求若干感兴趣骨骼区域，并将识别出的若干感兴趣骨骼区域的特征图与原始掌骨影像X的特征图拼接，得到特征向量C；最终，将识别出的每一感兴趣骨骼区域的特征图、原始掌骨影像X的特征图、以及特征向量C分别经过全连接层后，进行骨龄预测，并将所有预测结果集成，得到骨骼年龄评估结果。
由上述本发明提供的技术方案可以看出，该方法不需要任何检测、分割、预处理环节，因此可被端到端训练；该方法能自动挖掘感兴趣的关键骨骼部位，不依赖特定人类先验知识，因此具有更好的泛化性；此外，该方法具有评估速度快，精度高的优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种骨骼年龄评估方法的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种骨骼年龄评估方法，该方法直接针对掌骨影像进行自动检测识别，得到评估结果。该方法处理速度快，效率高、精度高，可以应用于医院的影像科、或者科研机构、或者学校等，可以以软件的方式安装于工作电脑，提供实时检测，也可以安装于医院或者某些科研机构的后台服务器，提供大批量后台检测。
如图1所示，该方法主要分为两个部分：(1)用于特定感兴趣骨骼部位挖掘的注意力机制；(2)基于多分类器骨龄评估与集成的识别机制；主要如下：
(1)注意力机制。
基于注意力机制，从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域，具体来说：通过特征提取器(可以通过ResNet50网络实现)提取原始掌骨影像X的特征图；通过基于注意力机制的区域建议网络，根据特征图信息，挖掘感兴趣的骨骼区域，经过非极大值抑制，选取N个感兴趣骨骼区域。此外，区域建议网络为每个感兴趣骨骼区域Ri赋予对应的建议值
Figure GDA0003794715960000021
示例性的，可以设置N＝6。这些感兴趣骨骼区域与都原始掌骨影像X将输入到识别机制中进行识别。
为了让注意力机制更好的选取有区分性的骨骼部位，本发明实施例提出了一种新的优化算法。
如果一个感兴趣骨骼区域具有更高的建议值
Figure GDA0003794715960000031
则对应的感兴趣骨骼区域最终的评估结果具有更小的误差
Figure GDA0003794715960000032
即：
Figure GDA0003794715960000033
其中
Figure GDA0003794715960000034
为骨龄估计值；
则设计排序损失优化注意力机制：
Figure GDA0003794715960000035
其中φ为合页损失函数：
φ(x)＝max{1-x,0}。
(2)识别机制。
基于识别机制，从多个感兴趣骨骼区域中识别出符合要求若干感兴趣骨骼区域，并将识别出的若干感兴趣骨骼区域的特征图与原始掌骨影像X的特征图拼接，得到特征向量C；最终，将识别出的每一感兴趣骨骼区域的特征图、原始掌骨影像X的特征图、以及特征向量C分别经过全连接层后，进行骨龄预测，并将所有预测结果集成，得到骨骼年龄评估结果。
本发明实施例，根据区域建议网络给出的各感兴趣骨骼区域的建议值，从大至小进行排序，然后，选择排名靠前的K个感兴趣骨骼区域，用于后续骨龄预测计算。
同样的，识别机制中，也可以采用ResNet50作为特征提取器进行感兴趣骨骼区域与原始掌骨影像X的特征提取操作。
所述将所有预测结果集成的公式为：
Figure GDA0003794715960000036
上式中，Aasb为骨骼年龄评估结果，AC、AX、
Figure GDA0003794715960000037
依次为特征向量C、原始掌骨影像X的特征图、识别出的感兴趣骨骼区域Rk的骨龄预测结果；K为识别出的感兴趣骨骼区域的数目。
所述识别机制本质上是一组多个的回归器，通过回归损失函数优化识别机制，优化阶段使用之前选取的N个感兴趣骨骼区域，其损失函数为：
Figure GDA0003794715960000041
其中，R(·)为回归器损失函数，相应的R(C)为拼接特征向量对应的损失函数，R(X)为原始掌骨影像X对应的损失函数，R(Ri)为各个骨骼区域对应的损失函数。
如图1所示的整个方案可理解为以个网络模型，训练阶段，该网络模型总损失函数为注意力机制损失函数Latt和识别机制损失函数Lcls之和：
Ltotal＝Lcls+Latt。
在训练阶段的优化过程中，注意力机制不断提升特定骨骼部位提取的准确性，提取出更具有区分意义的骨骼部位，送入识别机制。识别机制不断提升识别精度，减少预测误差。同时识别结果也会反馈给注意力机制，用于注意力机制的优化。因此两机制可以相互强化，该网络模型可以在不依赖人类先验的情况下，端到端的得到训练。
与现有方法相比，该方法不需要任何检测、分割、预处理环节，因此模型可被端到端训练；该方法能自动挖掘感兴趣的关键骨骼部位，不依赖特定人类先验知识，因此具有更好的泛化性；该方法完全基于2D卷积神经网络(即，文中所述的特征提取器)，速度快，精度高，平均诊断误差在4.4个月内。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种骨骼年龄评估方法，其特征在于，包括：
通过基于注意力机制的区域建议网络，从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域；
基于识别机制，从多个感兴趣骨骼区域中识别出符合要求若干感兴趣骨骼区域，并将识别出的若干感兴趣骨骼区域的特征图与原始掌骨影像X的特征图拼接，得到特征向量C；最终，将识别出的每一感兴趣骨骼区域的特征图、原始掌骨影像X的特征图、以及特征向量C分别经过全连接层后，进行骨龄预测，并将所有预测结果集成，得到骨骼年龄评估结果；
区域建议网络为每个感兴趣骨骼区域Ri赋予对应的建议值
Figure FDA0003794715950000011
如果一个感兴趣骨骼区域具有更高的建议值
Figure FDA0003794715950000012
则对应的感兴趣骨骼区域最终的评估结果具有更小的误差
Figure FDA0003794715950000013
即：
Figure FDA0003794715950000014
则设计排序损失优化注意力机制：
Figure FDA0003794715950000015
其中φ为合页损失函数：
φ(x)＝max{1-x,0}。
2.根据权利要求1所述的一种骨骼年龄评估方法，其特征在于，所述通过基于注意力机制的区域建议网络，从原始掌骨影像X的特征图上挖掘多个感兴趣骨骼区域包括：
通过特征提取器提取原始掌骨影像X的特征图；
通过基于注意力机制的区域建议网络，根据特征图信息，挖掘感兴趣的骨骼区域，经过非极大值抑制，选取N个感兴趣骨骼区域。
3.根据权利要求1所述的一种骨骼年龄评估方法，其特征在于，所述将所有预测结果集成的公式为：
Figure FDA0003794715950000016
上式中，Aasb为骨骼年龄评估结果，AC、AX、
Figure FDA0003794715950000021
依次为特征向量C、原始掌骨影像X的特征图、识别出的感兴趣骨骼区域Rk的骨龄预测结果；K为识别出的感兴趣骨骼区域的数目。
4.根据权利要求1所述的一种骨骼年龄评估方法，其特征在于，识别机制是一组多个的回归器，通过回归损失函数优化识别机制，其损失函数为：
Figure FDA0003794715950000022
其中，R(C)为拼接特征向量对应的损失函数，R(X)为原始掌骨影像X对应的损失函数，R(Ri)为各个骨骼区域对应的损失函数，N为从原始掌骨影像X的特征图上挖掘的感兴趣骨骼区域的数目。
5.根据权利要求1或4所述的一种骨骼年龄评估方法，其特征在于，训练阶段，总损失函数为注意力机制损失函数Latt和识别机制损失函数Lcls之和：
Ltotal＝Lcls+Latt。
CN201910568724.9A 2019-06-27 2019-06-27 骨骼年龄评估方法 Active CN110120266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910568724.9A CN110120266B (zh) 2019-06-27 2019-06-27 骨骼年龄评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910568724.9A CN110120266B (zh) 2019-06-27 2019-06-27 骨骼年龄评估方法

Publications (2)

Publication Number Publication Date
CN110120266A CN110120266A (zh) 2019-08-13
CN110120266B true CN110120266B (zh) 2022-09-30

Family

ID=67524575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910568724.9A Active CN110120266B (zh) 2019-06-27 2019-06-27 骨骼年龄评估方法

Country Status (1)

Country Link
CN (1) CN110120266B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006654B (zh) * 2020-07-16 2021-07-13 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291945A (zh) * 2017-07-12 2017-10-24 上海交通大学 基于视觉注意力模型的高精度服装图像检索方法及系统
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109741309A (zh) * 2018-12-27 2019-05-10 北京深睿博联科技有限责任公司 一种基于深度回归网络的骨龄预测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7263214B2 (en) * 2002-05-15 2007-08-28 Ge Medical Systems Global Technology Company Llc Computer aided diagnosis from multiple energy images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291945A (zh) * 2017-07-12 2017-10-24 上海交通大学 基于视觉注意力模型的高精度服装图像检索方法及系统
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109741309A (zh) * 2018-12-27 2019-05-10 北京深睿博联科技有限责任公司 一种基于深度回归网络的骨龄预测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习的骨龄自动评测系统的研究与实现;王景樟;《中国优秀硕士学位论文全文数据库》;20181115;第39-46页 *
王景樟.基于深度学习的骨龄自动评测系统的研究与实现.《中国优秀硕士学位论文全文数据库》.2018,第39-46页. *
骨龄特征自动识别算法及系统设计;李忠海等;《沈阳师范大学学报(自然科学版)》;20030820;第21卷(第03期);全文 *

Also Published As

Publication number Publication date
CN110120266A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
Wu et al. Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents
Luo et al. Deep mining external imperfect data for chest X-ray disease screening
Zhu et al. Deep convolutional neural network for survival analysis with pathological images
US10733727B2 (en) Application of deep learning for medical imaging evaluation
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
Zhang et al. Robust medical image segmentation from non-expert annotations with tri-network
Thian et al. Deep learning systems for pneumothorax detection on chest radiographs: a multicenter external validation study
Sannasi Chakravarthy et al. Multi-deep CNN based experimentations for early diagnosis of breast cancer
JP2022550094A (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
Ahmed et al. Comparison and ensemble of 2D and 3D approaches for COVID-19 detection in CT images
CN114078593A (zh) 临床决策支持
Bhosale et al. Bio-medical imaging (X-ray, CT, ultrasound, ECG), genome sequences applications of deep neural network and machine learning in diagnosis, detection, classification, and segmentation of COVID-19: a Meta-analysis & systematic review
Klochko et al. Data mining of the healthcare system based on the machine learning model developed in the Microsoft azure machine learning studio
CN110120266B (zh) 骨骼年龄评估方法
Zourhri et al. Deep learning technique for classification of breast cancer using ultrasound images
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
Sharma et al. An explainable artificial intelligence based prospective framework for COVID-19 risk prediction
CN112582064A (zh) 一种动作评估方法、装置、设备及存储介质
Hroub et al. Explainable deep learning diagnostic system for prediction of lung disease from medical images
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
Pedrosa et al. Lesion-based chest radiography image retrieval for explainability in pathology detection
Wang et al. Probing perfection: The relentless art of meddling for pulmonary airway segmentation from HRCT via a human-AI collaboration based active learning method
Gulsoy et al. Diagnosis of lung cancer based on CT scans using Vision Transformers
Ahmadova et al. Improving Pneumonia Diagnosis with RadImageNet: A Deep Transfer Learning Approach
Yang et al. M-US-EMRs: A Multi-modal Data Fusion Method of Ultrasonic Images and Electronic Medical Records Used for Screening of Coronary Heart Disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant