CN117094951A - 一种新型的自动骨龄预测算法模型 - Google Patents

一种新型的自动骨龄预测算法模型 Download PDF

Info

Publication number
CN117094951A
CN117094951A CN202310911582.8A CN202310911582A CN117094951A CN 117094951 A CN117094951 A CN 117094951A CN 202310911582 A CN202310911582 A CN 202310911582A CN 117094951 A CN117094951 A CN 117094951A
Authority
CN
China
Prior art keywords
bone age
model
wrist
predicted
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310911582.8A
Other languages
English (en)
Other versions
CN117094951B (zh
Inventor
王凤丹
潘慧
刘永亮
汪火根
朱惠娟
杜函泽
郭野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lancuo Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Hangzhou Lancuo Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lancuo Technology Co ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Hangzhou Lancuo Technology Co ltd
Priority to CN202310911582.8A priority Critical patent/CN117094951B/zh
Publication of CN117094951A publication Critical patent/CN117094951A/zh
Application granted granted Critical
Publication of CN117094951B publication Critical patent/CN117094951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种新型的自动骨龄预测算法模型。所述自动骨龄预测模型构建方法包括：提取数据集中的数据作为训练数据和测试数据；构建用于手掌和手腕部检测的CoT‑YOLO模型，建立手腕部关键骨化中心识别模型X‑Pose和骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X‑Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。所述算法模型包括与所述方法步骤对应的模块。

Description

一种新型的自动骨龄预测算法模型
技术领域
本发明提出了一种新型的自动骨龄预测算法模型，属于骨龄预测技术领域。
背景技术
骨龄是反应个体生长发育水平的重要指标，广泛应用于儿童及青少年内分泌相关疾病的诊断、药物治疗效果的评估、生长发育评估、运动员筛选和法医等领域。在儿科内分泌诊疗中，骨龄评估是诊断及鉴别诊断的重要工具之一。骨龄是通过测定骨骼的大小、形态、结构、相互关系的变化反应体格发育程度，并通过统计处理，以年龄的形式、以岁为单位进行表达的生物学年龄。与日历年龄相比，骨龄能够更准确地反应儿童及青少年生长发育的实际情况。但是在临床实践中，骨龄的判读存在耗时长、一致性差的缺点。《中华放射学杂志》在对我国骨龄的临床使用现状的评估中，指出目前中国骨龄的评估中存在几大问题：1)缺乏统一的评估标准；2)参考人群的年代局限性；3)地域差异对骨龄的影响；4)体育运动对骨龄的影响。并提出骨龄自动化评估系统能提供相对统一、稳定、便捷的骨龄评估方式，节省培训专业人员所需的费用、时间和精力，同时能够提高骨龄判读的准确性和一致性，利用计算机图像识别技术实现骨龄自动化评估具有良好的应用场景。中国地域广阔、民族众多，不同民族和地域儿童因为生活方式、遗传特征等存在较大差异，导致儿童、青少年在骨龄发育特征上存在较大差别。如何搭建AI模型能够解决中国骨龄评估中因地域差异和民族差异导致的结果评估差异具有较大的挑战性。
近年来，国内外陆续有研究机构开发基于深度学习的AI骨龄系统。下列为目前较为有代表性的算法模型：1)ResNet-152模型：ResNet152是一种深度残差网络，通过在ImageNet数据集上训练，可以对骨龄进行有效的预测，结果表明该模型的绝对误差为0.47岁，±1年内的准确率达94.7％；2)DenseNet模型是一种密集连接的卷积神经网络，可以通过学习特征之间的依赖性来提高模型的准确性。研究报道DenseNet模型在骨龄测试集绝对误差均值为0.48岁，±1年准确性达93.8％；3)Inception-V4模型：Inception-V4是一种高效的神经网络，可以有效的处理高分辨率的图像数据。一项研究使用Inception-V4模型对美国国立卫生研究院(NIH)的骨龄数据集进行了训练和测试，结果表明该模型绝对误差均值为0.46岁，±1年准确性为93.8％；4)BoNet模型：是一种基于深度学习的骨龄评估模型，采用卷积神经网络(CNN)和递归神经网络(RNN)的结合，用于自动化的骨龄评估。Hagiware等人使用美国国立卫生研究院的骨龄数据集进行训练和测试，并与其他传统机器学习算法和深度学习算法模型进行了比较。结果显示，BoNet模型在骨龄预测方面表现出了很高的准确性。上述研究证明，AI模型在骨龄判读上与很高的准确性，能够辅助医生用于日常骨龄的判读。但上述模型的训练集基于国外人群，尚未有足够数据证明模型在中国儿童骨龄判读中的准确性和泛化性。
中国在AI医疗应用研究领域处于领先地位，目前有众多基于中国儿童骨龄样本训练的算法模型用于中国儿童骨龄判读。其中有两款名为“儿童手部X射线影像辅助评估软件”的产品获得NMPA的注册审批，在产品备注部分均提出“鉴于该产品远期安全性、有效性尚需进一步追踪，建议申请人在注册后进行以下工作：结合年龄、民族、地域等影响继续深入研究深度学习算法泛化能力”。上述描述证明，民族、地域差异是影响骨龄算法模型准确性的重要因素，目前尚未有相关证据支持上述算法模型在不同民族和地域差异儿童中的算法泛化能力。
发明内容
本发明提供了一种新型的自动骨龄预测算法模型，用以解决现有技术中的骨龄预测模型针对儿童骨龄检测的算法泛化能力差的问题，所采取的技术方案如下：
一种新型的自动骨龄预测算法模型，所述自动骨龄预测算法模型构建方法包括：
建立手掌和手腕部检测的CoT-YOLO模型；
建立手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet,并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
进一步地，所述建立手掌和手腕部检测的CoT-YOLO模型；
提取数据集中的数据作为训练数据和测试数据；其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG；
在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型。
进一步地，建立手腕部关键骨化中心识别模型X-Pose的过程包括：
提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，获得训练后的手腕部关键骨化中心识别模型X-Pose。
进一步地，建立骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V的过程包括：
利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
在每个关键点附近形成高斯分布来构建注意力图XT；
通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型采用Inception V3模型；
通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成骨龄视觉特征V。
进一步地，利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J，包括：
提取待预测骨龄对象的民族信息N及性别信息S；
利用待预测骨龄对象的民族信息N及性别信息S结合视觉特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示视觉特征。
一种新型的自动骨龄预测系统，所述自动骨龄预测模型构建系统包括：
CoT-YOLO模型建立模块，用于建立手掌和手腕部检测的CoT-YOLO模型；
模型构建模块，用于建立手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
特征获取模块，用于利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
进一步地，所述CoT-YOLO模型建立模块包括：
模型建立模块，用于提取数据集中的数据作为训练数据和测试数据，在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型；
其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG。
进一步地，所述模型构建模块包括：
X-Pose模型构建模块，用于提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
训练模块，用于仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，并在另外两个数据集上用于关键点的检测识别，获得训练后的手腕部关键骨化中心识别模型X-Pose。
进一步地，所述模型构建模块还包括：
BANet模型构建模块，用于利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
信息获取模块，用于利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
注意力图构建模块，用于在每个关键点附近形成高斯分布来构建注意力图XT；
识别模块，用于通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
视觉特征获取模块，用于利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型采用InceptionV3模型；
融合模块，用于通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成视觉特征V。
进一步地，所述特征获取模块包括：
信息提取模块，用于提取待预测骨龄对象的民族信息N及性别信息S；
预测模块，用于利用待预测骨龄对象的民族信息N及性别信息S结合特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示融合后的特征。
本发明有益效果：
本发明提出了一种新型的自动骨龄预测方法和系统依据医生的诊断流程而设计，输入信息除了手腕部X影像外还包含儿童实际年龄、民族、性别信息。该方法及对应的骨龄预测模型包括用于手掌和手腕部检测的CoT-YOLO模型、用于手腕部关键点识别的关键点检测模型X-Pose、用于骨龄预测的BANet模型，具体的骨龄预测模型如图1所示，解决的困扰骨龄AI模型大规模使用的泛化性问题。该模型的建立能够推动AI骨龄算法模型的落地使用，解决少数民族区域、医疗条件欠发达区域医疗服务供给不足，基层医疗短板以及人工阅片费时费力且一致性不加等问题。
附图说明
图1为本发明所述自动骨龄预测方法对应的骨龄预测模型的结构示意图；
图2为本发明所述自动骨龄预测方法对应的手腕部关键骨化中心识别模型X-Pose的结构示意图；
图3为本发明所述自动骨龄预测方法对应的卷积神经网络Inception V3模型结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出了一种新型的自动骨龄预测方法，所述自动骨龄预测模型构建方法包括：
S1、建立手掌和手腕部检测的CoT-YOLO模型；
S2、建立手腕部关键骨化中心识别模型X-Pose和(3)骨龄预测模型BANet,并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
S3、利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
其中，所述建立手掌和手腕部检测的CoT-YOLO模型包括
提取数据集中的数据作为训练数据和测试数据；其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG；其中，影像可以由2名北京协和医院医生共同阅片，其中1名医生为具有10年骨龄判读经验的放射科医生，另1名医生为具有15年骨龄判读经验的内分泌科医生；两名医生基于GP图谱法共同阅片，若2名医生评估结果一致，该结果作为患儿的骨龄；若意见存在分歧，则咨询1名具有20年骨龄判读经验的内分泌科医生，由其进行结果判定。阅片时，仅告知患者的日历年龄及性别，不告知民族、诊断及其他临床信息。所用图谱为2011年牛津大学出版社出版的《Skeletal Development of the Hand and Wrist-A Radiographic Atlas and DigitalBone Age Companion》；
在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型。
其中，建立手腕部关键骨化中心识别模型X-Pose的过程包括：
步骤1、提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
步骤2、仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，获得训练后的手腕部关键骨化中心识别模型X-Pose。
同时，建立骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄特征V的过程包括：
第1步、利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
第2步、利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
第3步、在每个关键点附近形成高斯分布来构建注意力图XT；
第4步、通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
第5步、利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型采用Inception V3模型；
第6步、通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成视觉特征V。
其中，利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J，包括：
S301、提取待预测骨龄对象的民族信息N及性别信息S；
S302、利用待预测骨龄对象的民族信息N及性别信息S结合骨龄视觉特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示骨龄视觉特征。
上述技术方案的工作原理为：在本实施例中共使用了三个数据集用于算法模型的训练和测试，其中两个为公开数据集(RSNA数据集和RHPE数据集)，一个为自建数据集。
(1)RSNA儿童骨龄数据集共14236个儿童手腕部X光影像数据，其中训练集12611例，验证集1425例(男：女)，测试集200例；
(2)RHPE数据集：共6288例儿童手腕部X光影像数据，其中训练集5492例，验证集716例，测试集80例，数据集中54％对应于女性患者，46％对应于男性患者。所有儿童手腕部X光影像数据均进行关键点标注，单张儿童手腕部X光影像包含17个关键点，包括指骨的近端、中端和远端、腕骨，以及远端桡骨和尺骨。同时该数据还将包围左手的检测边界框进行了标注。在次基础上，又对左手手腕部分进行了检测边界框的标注。
(3)自建数据集：回顾性收集于2013年9月至2019年11月就诊于西藏自治区人民医院和北京协和医院的儿童骨龄X射线影像数据。共收集数据1176例，其中训练集825例，测试集351例。
骨龄Ground truth确定标准：本研究共使用了三个数据集，其中RSNA数据集和RPHE数据集的基于数据库提供骨龄结果作为Ground truth。自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统(picturearchiving and communication system,PACS)导出，导出数据格式为JPEG。
算法各模块描述：
(1)掌指骨和腕骨检测算法模块CoT-YOLO：在本研究中通过改进YOLOv5模型进行掌指骨和腕骨的检测，如图1所示，模型采用的主干网络为Darknet-53。在YOLOv5中采用Contextual Transformer(CoT)来利用上下文信息来指导增强视觉表示的能力，该模块可以放在卷积层和BottleneckCSP之前，形成新的检测网络CoT-YOLO。在训练中，基于COCO数据集上的预训练模型进行微调，YOLOv5能够同时生成目标区域和目标概率。该网络迭代了5000次，初始学习率为0.001。该网络基于Pytorch 1.7.0实现，在两个NVIDIA GeForce RTX2080Ti上完成训练。
注：CoT模块来源于论文Contextual Transformer Networks for VisualRecognition
(2)手腕部关键骨化中心识别模块X-Pose：为了解决手腕部关键骨化中心识别的问题，基于Xiao等人提出的姿势识别方法构建了基于X光影像的手腕部关键骨化中心识别模型X-Pose，如图2所示。该模型包含两部分，编码器和解码器。在编码器中ResNet-50作为主干网络，解码器包含多层反卷积层。在训练中，同样基于ImageNet上的预训练模型进行微调，并且采用和论文中相同的训练设置进行20个epoch的训练。该模块只在RHPE数据集上训练，并在另外两个数据集上用于关键点的检测识别。
(3)骨龄预测模块BANet：基于手腕部检测和手腕部关键点识别，可以分别获取手腕部的影像X和手腕部各个关键点的位置，接着在每个关键点附近形成高斯分布来构建注意力图XT。同时通过手腕检测模型，也可以获得手腕部影像XW。然后采用卷积神经网络模型如Inception V3，如图3所示，分别从X，XT，和XW中获取视觉特征，并且通过一个mixedInception模块将这三种视觉特征融合起来形成骨龄视觉特征V。
对民族信息和性别信息分别进行编码表示，形成N和S。因此模型用来评估儿童骨龄的特征J是由V，N和S拼接而成。然后通过两层Dense Layer(激活函数为ReLU)预测结果。
J＝[V；N；S]
在训练过程中，采用Nvidia GeForce RTX 2080Ti进行训练，代码实现采用Pytorch 1.7.0实现。整个模型采用批处理的方式训练了150个epoch，初始的学习率为0.001，并且每4个epoch学习率降低学习率的0.2，每次批处理的数据量为16个。模型优化的方法为Adam优化器。
上述本实施例提出的一种新型的自动骨龄预测方法的验证过程及对应结果如下：
(1)在公开数据集上自研算法性能优于主流算法BoNet
算法完成开发和训练后，我们首先在两个公开测试集上对算法性能进行了评估。使用绝对误差均值作为参考指标比较了BoNet和自研模型的算法性能。结果显示在RSNA数据集上自研算法绝对误差均值为0.34年优于BoNet的0.35年；在RHPE数据集上，自研算法的绝对误差均值为0.52年同样优于BoNet的0.63年。
表1.自研算法在公开数据集上的准确性与BoNet比较
(2)自研算法在不同年龄、不同民族儿童中的性能分析
为了评估自研算法的泛化能力是否符合预期，能够在不同海拔、不同民族儿童中均有稳定的性能表现。我们在自建数据集中对自研算法进行了评价，同时引入BoNet模型作为比较。自建测试集共包含351例儿童骨龄X射线影像，数据集特征见下表(表2)。
表2.测试集数据样本特征
a.在中国儿童数据集各亚组中，自研算法模型性能显著优于BoNet模型首先，我们在中国儿童数据集上评价了自研算法模型和BoNet模型的性能。我们使用±1年内的准确性和绝对误差均值(±SD)两个指标作为评价标准。自研算法模型±1年准确性为97.7％，高于BoNet的90％；同时在各个亚组(不同性别、不能年龄段及不同民族)中，自研算法模型在±1年内准确性均高于BoNet模型。比较绝对误差均值，结果显示自研算法模型的绝对误差均值为0.46年(±0.28)，显著高于BoNet模型的0.62年(±0.4)，且差异有统计学意义(p<0.0001)；同时在各个亚组(不同性别、不能年龄段及不同民族)中，自研算法模型的绝对误差均值均显著优于BoNet模型(p<0.0001)。详细结果见表3。
表3.自研算法模型与BoNet模型在不同亚组中的性能比较
b.以民族为主要因素对中国儿童测试数据集进行分组，评估自研算法模型的泛化能力
本发明中，使用的中国儿童测试集重要包含生活在海拔3000m以上区域的藏族儿童和生活在平原区域的汉族儿童组成。因此按照民族分组，同时涵盖了生活区域的不同和民族构成不同两个影响因素。通过该组数据分析，希望证明本发明构建的模型具有很好的泛化能力，能够适用用不同名族、不同区域的儿童骨龄检测。表4展示了按照民族分组后，不同性别和不同年龄段儿童的比例。
表4.按照不同民族对中国儿童自建测试集进行分组
将中国儿童测试集进按照民族进行分组后，我们以绝对误差均值为主要评价指标，分析了自研算法模型在汉族和藏族儿童不同分组中的性能差异。结果显示，无论在男孩还是女孩中，自研算法的绝对误差均值差异均无统计学意义；同时在不同年龄段，自研算法在藏族儿童和汉族儿童中的性能差异无统计学意义(表5)。该组数据分析说明，自研算法模型具有很好的泛化能力，对生活在不同海拔区域(不同民族)的儿童骨龄均有很高的判读准确性。
表5.自研算法模型在汉族和藏族儿童中性能差异分析
上述技术方案的效果为：本实施例提出了一种新型的自动骨龄预测方法依据医生的诊断流程而设计，输入信息除了手腕部X影像外还包含儿童实际年龄、民族、性别信息。该方法及对应的骨龄预测模型包括用于掌指骨和腕骨检测的CoT-YOLO模型、用于手腕部关键点识别的关键点检测模型X-Pose、用于骨龄预测的BANet模型，具体的骨龄预测模型如图1所示，解决的困扰骨龄AI模型大规模使用的泛化性问题。该模型的建立能够推动AI骨龄算法模型的落地使用，解决少数民族区域、医疗条件欠发达区域医疗服务供给不足，基层医疗短板以及人工阅片费时费力且一致性不加等问题。
本发明实施例提出了一种新型的自动骨龄预测算法模型，所述自动骨龄预测模型构建系统包括：
CoT-YOLO模型建立模块，用于建立手掌和手腕部检测的CoT-YOLO模型；
模型构建模块，用于建立手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
特征获取模块，用于利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
其中，所述CoT-YOLO模型建立模块包括：
模型建立模块，用于提取数据集中的数据作为训练数据和测试数据，在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型；
其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG。其中，所述模型构建模块包括：
X-Pose模型构建模块，用于提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
训练模块，用于仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，获得训练后的手腕部关键骨化中心识别模型X-Pose。
其中，所述模型构建模块还包括：
BANet模型构建模块，用于利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
信息获取模块，用于利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
注意力图构建模块，用于在每个关键点附近形成高斯分布来构建注意力图XT；
识别模块，用于通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
视觉特征获取模块，用于利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型采用InceptionV3模型；
融合模块，用于通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成视觉特征V。
其中，所述特征获取模块包括：
信息提取模块，用于提取待预测骨龄对象的民族信息N及性别信息S；
预测模块，用于利用待预测骨龄对象的民族信息N及性别信息S结合视觉特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示视觉特征。
上述技术方案的效果为：本实施例提出了一种新型的自动骨龄预测系统依据医生的诊断流程而设计，输入信息除了手腕部X影像外还包含儿童实际年龄、民族、性别信息。该方法及对应的骨龄预测模型包括用于手掌和手腕部检测的CoT-YOLO模型、用于手腕部关键点识别的关键点检测模型X-Pose、用于骨龄预测的BANet模型，具体的骨龄预测模型如图1所示，解决的困扰骨龄AI模型大规模使用的泛化性问题。该模型的建立能够推动AI骨龄算法模型的落地使用，解决少数民族区域、医疗条件欠发达区域医疗服务供给不足，基层医疗短板以及人工阅片费时费力且一致性不加等问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种新型的自动骨龄预测算法模型，其特征在于，所述自动骨龄预测算法模型构建方法包括：
建立手掌和手腕部检测的CoT-YOLO模型；
建立手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet,并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
2.根据权利要求1所述自动骨龄预测算法模型构建方法，其特征在于，所述建立手掌和手腕部检测的CoT-YOLO模型包括；
提取数据集中的数据作为训练数据和测试数据；其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Ground truth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG；
在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型。
3.根据权利要求1所述自动骨龄预测算法模型构建方法，其特征在于，建立手腕部关键骨化中心识别模型X-Pose的过程包括：
提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，并在另外两个数据集上用于关键点的检测识别，获得训练后的手腕部关键骨化中心识别模型X-Pose。
4.根据权利要求1所述自动骨龄预测算法模型构建方法，其特征在于，建立骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V的过程包括：
利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
在每个关键点附近形成高斯分布来构建注意力图XT；
通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型均采用Inception V3模型；
通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成视觉特征V。
5.根据权利要求1所述自动骨龄预测算法模型构建方法，其特征在于，利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J，包括：
提取待预测骨龄对象的民族信息N及性别信息S；
利用待预测骨龄对象的民族信息N及性别信息S结合视觉特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示视觉特征。
6.一种新型的自动骨龄预测系统，其特征在于，所述自动骨龄预测模型构建系统包括：
CoT-YOLO模型建立模块，用于建立手掌和手腕部检测的CoT-YOLO模型；
模型构建模块，用于建立手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet，并利用手腕部关键骨化中心识别模型X-Pose和骨龄预测模型BANet获取待预测骨龄对象的骨龄视觉特征V；
特征获取模块，用于利用所述骨龄视觉特征V和待预测骨龄对象的民族信息N及性别信息S，获取待预测骨龄对象的骨龄特征J。
7.根据权利要求6所述自动骨龄预测模型构建系统，其特征在于，所述CoT-YOLO模型建立模块包括：
模型建立模块，用于提取数据集中的数据作为训练数据和测试数据，在YOLOv5模型中通过Contextual Transforme模块利用上下文信息指导增强视觉表示的能力，并将所述Contextual Transforme模块设置于所述YOLOv5模型的主干网络Darknet-53的卷积层和BottleneckCSP之前，形成检测网络CoT-YOLO，其中，所述检测网络CoT-YOLO即为CoT-YOLO模型；
其中，数据集包括RSNA数据集、RHPE数据集和自建数据集；并且，自建数据集的Groundtruth制定依据下列规则：所有纳入研究数据集的影像数据由放射科影像存档和通讯系统导出，导出数据格式为JPEG。
8.根据权利要求6所述自动骨龄预测模型构建系统，其特征在于，所述模型构建模块包括：
X-Pose模型构建模块，用于提取所述数据集中的手腕部的X光影像构建手腕部关键骨化中心识别模型X-Pose；其中，所述手腕部关键骨化中心识别模型X-Pose包括编码器和解码器；所述编码器以ResNet-50作为主干网络，所述解码器包含多层反卷积层；
训练模块，用于仅在RHPE数据集上对所述手腕部关键骨化中心识别模型X-Pose进行20个epoch的训练，并在另外两个数据集上用于关键点的检测识别，获得训练后的手腕部关键骨化中心识别模型X-Pose。
9.根据权利要求6所述自动骨龄预测模型构建系统，其特征在于，所述模型构建模块还包括：
BANet模型构建模块，用于利用卷积神经网络模型和mixed Inception模块结合构建形成骨龄预测模型BANet；
信息获取模块，用于利用手腕部检测和手腕部关键点识别分别获取待预测骨龄对象的手腕部的影像X和手腕部各个关键点的位置；
注意力图构建模块，用于在每个关键点附近形成高斯分布来构建注意力图XT；
识别模块，用于通过手腕部关键骨化中心识别模型X-Pose获取待预测骨龄对象的手腕部影像XW；
视觉特征获取模块，用于利用卷积神经网络模型分别获取影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征；其中，所述卷积神经网络模型采用Inception V3模型；
融合模块，用于通过mixed Inception模块将所述影像X、高斯分布来构建注意力图XT和手腕部影像XW对应的视觉特征进行融合形成视觉特征V。
10.根据权利要求6所述自动骨龄预测模型构建系统，其特征在于，所述特征获取模块包括：
信息提取模块，用于提取待预测骨龄对象的民族信息N及性别信息S；
预测模块，用于利用待预测骨龄对象的民族信息N及性别信息S结合特征V获取待预测骨龄对象的骨龄特征J；其中，所述骨龄特征J如下：
J＝[V；N；S]
其中，J表示骨龄特征；N表示民族信息；S表示性别信息；V表示融合后的特征。
CN202310911582.8A 2023-07-25 2023-07-25 一种新型的自动骨龄预测算法模型 Active CN117094951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310911582.8A CN117094951B (zh) 2023-07-25 2023-07-25 一种新型的自动骨龄预测算法模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310911582.8A CN117094951B (zh) 2023-07-25 2023-07-25 一种新型的自动骨龄预测算法模型

Publications (2)

Publication Number Publication Date
CN117094951A true CN117094951A (zh) 2023-11-21
CN117094951B CN117094951B (zh) 2024-06-18

Family

ID=88776097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310911582.8A Active CN117094951B (zh) 2023-07-25 2023-07-25 一种新型的自动骨龄预测算法模型

Country Status (1)

Country Link
CN (1) CN117094951B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920430A (zh) * 2020-07-04 2020-11-13 浙江大学山东工业技术研究院 一种弱监督深度学习自动骨龄评估方法
CN112348003A (zh) * 2021-01-11 2021-02-09 航天神舟智慧系统技术有限公司 基于深度卷积神经网络的飞机加油场景识别方法及系统
US20210142477A1 (en) * 2018-08-01 2021-05-13 China Medical University Hospital Bone Age Assessment And Height Prediction Model, System Thereof And Prediction Method Thereof
CN114240874A (zh) * 2021-12-14 2022-03-25 杭州博钊科技有限公司 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质
CN114663426A (zh) * 2022-04-21 2022-06-24 重庆邮电大学 一种基于关键骨区定位的骨龄评估方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116373900A (zh) * 2023-03-23 2023-07-04 南通大学 一种基于Transformer和LSTM的车辆轨迹预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210142477A1 (en) * 2018-08-01 2021-05-13 China Medical University Hospital Bone Age Assessment And Height Prediction Model, System Thereof And Prediction Method Thereof
CN111920430A (zh) * 2020-07-04 2020-11-13 浙江大学山东工业技术研究院 一种弱监督深度学习自动骨龄评估方法
CN112348003A (zh) * 2021-01-11 2021-02-09 航天神舟智慧系统技术有限公司 基于深度卷积神经网络的飞机加油场景识别方法及系统
CN114240874A (zh) * 2021-12-14 2022-03-25 杭州博钊科技有限公司 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质
CN114663426A (zh) * 2022-04-21 2022-06-24 重庆邮电大学 一种基于关键骨区定位的骨龄评估方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116373900A (zh) * 2023-03-23 2023-07-04 南通大学 一种基于Transformer和LSTM的车辆轨迹预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JING ZHANG 等: "Research on rainy day traffic sign recognition algorithm based on PMRNet", 《MATHEMATICAL BIOSCIENCES AND ENGINEERING》, 18 May 2023 (2023-05-18) *
刘鸣谦;兰钧;陈旭;于广军;杨秀军;: "基于多维度特征融合的深度学习骨龄评估模型", 第二军医大学学报, no. 08, 20 August 2018 (2018-08-20) *
次旦旺久 等: "海拔高度对儿童及青少年骨龄发育的影响", 《基础医学与临床》, 30 April 2023 (2023-04-30) *
胡婷鸿;火忠;刘太昂;王飞;万雷;汪茂文;陈腾;王亚辉;: "基于深度学习实现维吾尔族青少年左手腕关节骨龄自动化评估", 法医学杂志, no. 01, 25 February 2018 (2018-02-25) *

Also Published As

Publication number Publication date
CN117094951B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN106202955B (zh) 基于编码智能适配的诊断相关分组方法及系统
WO2023202508A1 (zh) 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
Ferber et al. Gait biomechanics in the era of data science
CN107016438B (zh) 一种基于中医辨证人工神经网络算法模型的系统
WO2022267678A1 (zh) 视频问诊方法、装置、设备及存储介质
CN109411082A (zh) 一种医疗质量评价及就诊推荐方法
CN107066814A (zh) 一种基于望闻问切协同的中医智能辅助诊断系统
CN108520778A (zh) 一种基于大数据的肺癌筛查系统及方法
CN109378066A (zh) 一种基于特征向量实现疾病预测的控制方法及控制装置
CN106934235A (zh) 一种基于迁移学习的疾病领域间病人相似性度量迁移系统
CN103690240A (zh) 一种医疗系统
Ahn Introducing big data analysis using data from National Health Insurance Service
TWI723868B (zh) 一種抽樣後標記應用在類神經網絡訓練模型之方法
CN108511056A (zh) 基于脑卒中患者相似性分析的治疗方案推荐方法及系统
CN113707264A (zh) 基于机器学习的药物推荐方法、装置、设备及介质
CN115714022B (zh) 基于人工智能的新生儿黄疸健康管理系统
CN109360658A (zh) 一种基于词向量模型的疾病模式挖掘方法及装置
Ozdemir et al. Age Estimation from Left-Hand Radiographs with Deep Learning Methods.
Umar Ibrahim et al. Convolutional neural network for diagnosis of viral pneumonia and COVID‐19 alike diseases
Singh et al. Classification of first trimester ultrasound images using deep convolutional neural network
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN117094951B (zh) 一种新型的自动骨龄预测算法模型
Jain et al. Gradient and statistical features-based prediction system for COVID-19 using chest X-ray images
Makond et al. Decision Tree Modeling for Osteoporosis Screening in Postmenopausal Thai Women
KR20180002229A (ko) 치매 정보 데이터베이스 구축을 위한 에이전트 장치 및 그 운영방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant