CN107767376B - 基于深度学习的x线片骨龄预测方法及系统 - Google Patents
基于深度学习的x线片骨龄预测方法及系统 Download PDFInfo
- Publication number
- CN107767376B CN107767376B CN201711065065.4A CN201711065065A CN107767376B CN 107767376 B CN107767376 B CN 107767376B CN 201711065065 A CN201711065065 A CN 201711065065A CN 107767376 B CN107767376 B CN 107767376B
- Authority
- CN
- China
- Prior art keywords
- sample
- bone
- image
- palm
- age
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 210000002411 hand bone Anatomy 0.000 claims abstract description 87
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000013526 transfer learning Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 11
- 230000014461 bone development Effects 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 7
- 210000003205 muscle Anatomy 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000003745 diagnosis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013077 scoring method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002124 endocrine Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 238000002441 X-ray diffraction Methods 0.000 description 1
- 210000004404 adrenal cortex Anatomy 0.000 description 1
- 210000003010 carpal bone Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 208000037824 growth disorder Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于深度学习的X线片骨龄预测方法及系统，通过对青少年X线成像进行预处理、手骨区域自动分割、骨龄预测，最终形成骨龄预测结果。本方法中包括手骨X线片预处理及样本数据增强方法、手骨X线片图像块采样方法及手骨自动分割算法、基于迁移学习的手骨X线片骨龄测评算法，最终设计以Dicom数据为输入的手骨X线片骨龄预测系统。用户只需要选择要预测骨龄的手骨X线片，分割和预测过程完全自动，不需要医生进行区域标记或选择，为骨龄测评提供科研和临床上的有力工具。
Description
技术领域
本发明涉及智能医学影像诊断技术领域，尤其涉及X线片自动目标分析与识别、骨龄测试方法领域，具体涉及一种基于深度学习技术的全自动X线片骨龄预测方法。
背景技术
骨龄是骨发育成熟度年龄的简称，骨龄评测是根据特定人群骨骼发育的共有特征评测个体骨骼发育成熟程度的方法和技术。骨骼的成熟程度会在人体的不同部位表现出来，尤其是在手腕部，这些特征具有普遍性和不可逆性，评测时将骨骼X线图像和标准骨骼发育图谱进行比对，如果存在差异，则需要进一步诊断评估，骨龄评测是目前临床测评个体发育偏离程度最准确、最客观的方法。青少年骨龄评测在儿科内分泌问题和儿童成长障碍诊断方面有重要作用，常用于青少年内分泌紊乱、生长发育延迟、先天性肾上腺皮质増生等症状的筛查，也可对激素使用的干预效果进行评价，另外，骨龄也可用于鉴定未成年人的真实年龄，在青少年犯罪案件中认定嫌疑人年龄、体育比赛中确认选手年龄、运动员身高预测和选拔中都有应用。近年来，随着骨龄研究的不断深入和数字化影像技术在骨龄测试中的应用使骨龄测评方法得到广泛推广。目前国际上常用的方法有G-P图谱法、RWT法(膝部骨龄评价法)、TW计分法等，我国常用的骨龄检测方法有“百分计数法”(“李氏法”)、顾氏图谱法、中国人手腕骨发育标准CHN法、“中国儿童骨龄评分法”(“叶氏法”)等。但这些人工评估骨龄方法繁琐费时且易受主观影响，随机误差大，骨发育等级标准的文字描述实际应用起来比较复杂、系统误差较大。因此人们开始计算机来进行骨龄评测。
专利申请公布的“机器自动图像识别方法及装置(CN1804868A)”，对青少年左手掌的13块骨骼进行定位、分割、特征提取、识别、比对、计分、评估测定，但未成熟的骨骼图像有的是两块骨骼粘连在一起，计算机软件无法对骨骼图像分割、确定边缘、特征提取，也就无法识别，该发明中仍采用骨龄专家识别与计算机自动识别结合的方法，并不是全自动的骨龄评测。
专利申请公布的“一种鲁棒的骨龄评定图像预处理及骨关键点定位方法(CN102945545A)”，为了解决传统骨龄评测图像处理方法中骨关键点定位不准、噪声处理效果不好，预处理效果不佳的问题，提出一种鲁棒的骨龄评定图像预处理及骨关键点定位方法。
专利申请公布的“一种分析骨龄的方法及检测装置(CN103300872A)”，利用计算机图形学和半拉格朗日算法图像分析骨龄，但具体分析方法细节并未提及。
专利申请公布的“骨龄远程在线判读系统(CN106202901A)”，由判读者根据每块骨的发育情况，将骨成熟度录入窗口相应的位置，系统根据总体骨成熟度与骨龄之间的对应关系判读出推测骨龄值。
如上所述，目前基于X线片分析的骨龄预测方法还未实现完全的自动化，能需要相关医师进行人工判读。
发明内容
本发明的目的在于，为解决传统骨龄评测使用“计分法”和“图谱法”存在的主观性过强、随机误差大、骨发育等级标准的文字描述应用复杂、过程繁琐等问题，提出一种基于青少年手骨X线片训练模型的全自动骨龄评测方法。
为实现上述目的，本发明采用的技术方案如下：建立有年龄标注青少年手骨样本库，使用对抗神经网络进行手骨X线片的小样本数据增强；使用半自动图像正负块样本生成方法并利用生成的块样本训练手骨分割模型，完成手骨的初步分割；通过迁移学习建立适用于骨龄评测分类模型，完成全自动的青少年手骨X线片骨龄评测系统。本发明提供了一种基于深度学习的X线片骨龄预测方法，包括以下步骤：
样本数据预处理的步骤，将满足训练样本要求的手骨图像样本进行样本标记，标记内容包括手骨X线片对应的青少年性别和真实年龄；
样本数据增强的步骤，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括通过对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换处理生成新的样本，扩大原始样本规模；
手掌分割的步骤，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌分割模板进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像；
骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。
所述样本数据预处理的步骤中，在对手骨图像样本进行样本标记之前，需要进行样本清洗，包括：(1)通过图像处理方法计算图像的灰度分布判断前景和背景灰度范围是否正常、大小是否符合要求；(2)图像的灰度和大小归一化，进行图像非线性灰度增强使前景灰度一致，对和标准大小不一致的图像进行图像补齐；(3)判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。
所述样本数据增强的步骤中，所述增强具体包括：通过对手骨图像样本的分析确定其不变且鲁棒的特征属性，并利用这些特征属性指导数据增强，所述特征属性包括所述特征属性不受旋转不变、缩放、灰度变换影响，通过旋转、缩放、灰度变换、加噪等策略增加标记样本；结合骨龄评测，根据骨骼发育形态判断骨龄的推理规则和对抗神经网络模拟生成数据样本，增加标记样本规模；使用真实图像和人工生成样本进行分类训练，通过对抗网络对生成样本改进优化。
所述迁移学习包括对现有的神经网络模型进行参数修改和/优化形成新的神经网络模型。
所述现有的神经网络模型为GoogLeNet，或Alexnet。
本发明提供了一种基于深度学习的X线片骨龄预测系统，包括以下模块：
样本数据预处理模块，将满足训练样本要求的手骨图像样本进行样本标记，标记内容包括手骨X线片对应的青少年性别和真实年龄；
样本数据增强模块，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换等处理生成新的样本，扩大原始样本规模；
手掌分割模块，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌模板图像进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像；
骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。
本发明与现有技术相比的优点在于：
通过样本学习方法进行骨龄分类预测，避免了传统计算机辅助骨龄评测中需要进行的手骨X线片精细骨组织分割这一难题，实现全自动骨龄评测，解决目前评测过程繁琐、易受主观影响、随机误差大的问题；基于组织边缘局部弹性形变和对抗神经网络的医学图像数据增强算法以解决医学图像处理中标记样本不足的问题；提出的半自动的X线片块采样方法并提出利用采用图像块训练的手掌区域分割算法，大大节省样本制作过程中所需的时间和人力。
在我国，传统医疗领域影像科室已很难满足国内巨大的患者需求，尤其在基层医院缺乏大量专业影像科读片诊断医师。随着计算机数据处理能力和人工智能技术的发展，大型影像诊断设备结合图像识别以及人工智能技术提供更准确的诊断报告已成为可能。骨龄评测因其过程繁琐、主观性强、随机误差较大，亟需在方法上进行创新和改进。由于骨龄评测中相关的评测标准都有确定且标准化的按照年龄排序的对应骨龄，有确定的相关描述，因此骨龄评测非常适合通过机器学习方法来实现。因此，本发明为骨科、儿科医生的科研和诊断、刑侦中年龄测定、体育人才选拔等提供有力工具。
附图说明
图1是基于图像处理技术的骨组织几何形态学参数自动测量方法的整体流程框图。
图2是进行样本数据增强的平行视觉体系框架。
具体实施方式
下面结合图1、图2以及具体的实施方式来进一步描述本发明的实施方案。
图1显示的是本发明基于深度学习的X线片骨龄预测方法的流程图的一个实施例，包括以下步骤：(1)样本数据预处理的步骤，包括对青少年手骨X线片数据清洗、样本标记。训练样本数据分别来自于美国国家卫生研究院的公开数据集(http://www.ipilab.org/BAAweb/)、RSNA竞赛(http://rsnachallenges.cloudapp.net/competitions/4#learn_the_details-overview)以及医院。数据集中现有11400余张1至18岁正常发育的不同人种的左手X线片，还包括相关人口统计数据以及儿科、放射科医师对每张X光片的阅片资料，图像按年龄分类。数据集中的图像存在图像尺寸不一致、背景颜色分布不均等问题需要进行图像数据清洗，主要有三步：1)通过图像处理方法计算图像的灰度分布判断前景和背景灰度范围是否正常、大小是否符合要求；2)图像的灰度和大小归一化，进行图像非线性灰度增强使前景灰度一致，对和标准大小不一致的图像进行图像补齐(图像的等长宽比例伸缩之后边缘补零)；3)判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。
(2)样本数据增强的步骤，对医学图像的小样本数据增强，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括通过对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换处理生成新的样本，扩大原始样本规模。医学图像处理需要专业人员进行相关标注，因而样本数据量有限，所述数据增强具体包括：1)通过对手骨X线片的分析确定其不变且鲁棒的特征属性(如旋转不变等)并利用这些属性指导数据增强，所述特征属性包括旋转不变、不受缩放、灰度变换影响，通过旋转、缩放、灰度变换、加噪等策略增加标记样本；2)结合骨龄评测，根据骨骼发育形态判断骨龄的推理规则和对抗神经网络模拟生成数据样本，增加标记样本规模；使用真实图像和人工生成样本进行分类训练，通过对抗网络对生成样本改进优化。
(3)手掌分割的步骤。得到整幅手骨X线图像样本后，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌分割模板进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像。
(4)骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。基于手骨X线片样本学习的骨龄预测神经网络模型建立。所述迁移学习是指将带有年龄标记的已分割手骨X线片输入到已有的性能较好的神经网络模型CNN，如AlexNet、GoogLeNet等进行分析测试,通过参数修改和优化，建立适合手骨X线片骨龄分类的网络模型，形成新的神经网络模型，最终输入手骨X线片，得到骨龄分类预测结果。
本发明还提供了一种基于深度学习的X线片骨龄预测系统，该系统能够基于上述骨龄预测方法进行数据清洗、数据增强、自动分割和骨龄评测，在设计时以Dicom数据作为输入，实现数据接口、数据存储和分析报告输出。
该系统包括以下模块：
样本数据预处理模块，将满足训练样本要求的手骨图像样本进行样本标记，标记内容包括手骨X线片对应的青少年性别和真实年龄；
样本数据增强模块，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换等处理生成新的样本，扩大原始样本规模；
手掌分割模块，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌模板图像进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像；
骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。
在系统的设计实现上，设计成全自动X线片骨龄预测系统，主要分为三部分：选择X线片、自动骨龄检测、计算结果输出。选择手骨X线片。算法运行与计算机上，会有相关界面提示用户选择需要测试的手骨X线片，由用户选择输入；自动骨龄检测。基于步骤1由计算机自动预测骨龄；计算结果输出，将结果输出到屏幕，同时通过医院PACS系统上传到服务器，也可以通过计算机连接的打印机进行预测结果打印。
本发明将目前完全依靠医生在PACS系统上利用“图谱法”和“计分法”进行人工骨龄预测的方法和现有的骨龄评测装置中半自动的评测方法变为全自动的骨龄预测，能够节省医生时间、提高骨龄评测效率。同时，全自动X线片骨龄预测系统日常使用时，医用X光机生成的手骨图像通过X光机接口输入到骨龄预测工作站中，该工作站通常和医院的PACS系统相连。在工作站上进行X线图像的手骨分割和骨龄预测，分割结果和测量结果可以以文本报告形式和图文结合形式进行输出，可以在PACS系统中传输，也可以通过打印机接口进行打印。
图2进行样本数据增强的平行视觉体系框架，为了解决样本数量的问题，借助该框架进行数据增强。
系统中图像的具体处理过程如下：
X射线图像：图像通过输入接口进入测量工作站的处理器中，通过相应的算法进行骨组织分割，然后再根据用户的选择的参数进行测量计算，在液晶显示器中显示分割结果和相关参数，图像及参数一方面通过可以根据用户选择通过网络接口上传到PACS系统，也可以通过打印机接口进行报告打印。
实际应用举例如下：
本发明适用于需要进行手骨X线片骨龄评测系统的场所，如医疗机构、医学影像中心、医学研究中心等场所。
骨组织参数测量算法：(1)训练阶段：首先通过图像处理方法计算图像的灰度分布判断前景和背景灰度范围是否正常、大小是否符合要求，如果不符合要求则对图像的灰度和大小归一化，进行图像非线性灰度增强使前景灰度一致，对和标准大小不一致的图像进行图像补齐(图像的等长宽比例伸缩之后边缘补零)，判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理；然后通过对手骨X线片的分析确定其不变且鲁棒的特征属性(如旋转不变等)并利用这些属性指导数据增强，通过旋转、缩放、灰度变换、加噪等策略增加标注样本，同时结合骨龄评测中根据骨骼发育形态判断骨龄的推理规则和对抗神经网络(GAN)模拟生成数据样本，增加标注样本规模。使用真实图像和人工生成样本进行分类训练，通过对抗网络对生成样本改进优化。得到整幅手骨X线图像样本后，将图像中的手掌区域和背景区域切割成图像样本块，分别作为正负样本，建立卷积神经网络将上述正负样本输入获得分割结果，通过图像形态学方法对分割结果进行后处理，得到分割出的手骨区域。用带有年龄标记的已分割手骨X线片训练基于卷积神经网络的骨龄分类预测模型。(2)实时手骨X线片自动分割和骨龄评测：将Dicom格式的手骨X线片输出系统，得到预测的骨龄结果，将数据进行打印或上传。
Claims (6)
1.一种基于深度学习的X线片骨龄预测方法，其特征在于，包括：
样本数据预处理的步骤，将满足训练样本要求的手骨图像样本进行样本标记，标记内容包括手骨X线片对应的青少年性别和真实年龄；
样本数据增强的步骤，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括通过对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换处理生成新的样本，扩大原始样本规模；
手掌分割的步骤，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌分割模板进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像；
骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。
2.根据权利要求1所述的骨龄预测方法，其特征在于，所述样本数据预处理的步骤中，在对手骨图像样本进行样本标记之前，需要进行样本清洗，包括：(1)通过图像处理方法计算图像的灰度分布判断前景和背景灰度范围是否正常、大小是否符合要求；(2)图像的灰度和大小归一化，进行图像非线性灰度增强使前景灰度一致，对和标准大小不一致的图像进行图像补齐；(3)判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。
3.根据权利要求1所述的骨龄预测方法，其特征在于，所述样本数据增强的步骤中，所述增强具体包括：通过对手骨图像样本的分析确定其不变且鲁棒的特征属性，并利用这些特征属性指导数据增强，所述特征属性不受旋转不变、缩放、灰度变换影响，通过旋转、缩放、灰度变换、加噪策略增加标记样本；结合骨龄评测，根据骨骼发育形态判断骨龄的推理规则和对抗神经网络模拟生成数据样本，增加标记样本规模；使用真实图像和人工生成样本进行分类训练，通过对抗网络对生成样本改进优化。
4.根据权利要求1所述的骨龄预测方法，其特征在于，所述迁移学习包括对现有的神经网络模型进行参数修改和优化形成新的神经网络模型。
5.根据权利要求1所述的骨龄预测方法，其特征在于，所述神经网络模型为GoogLeNet，或Alexnet。
6.一种基于深度学习的X线片骨龄预测系统，其特征在于，包括：
样本数据预处理模块，将满足训练样本要求的手骨图像样本进行样本标记，标记内容包括手骨X线片对应的青少年性别和真实年龄；
样本数据增强模块，采用平行视觉体系框架，对标记的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括对原始样本进行形变、加噪、旋转、使用对抗神经网络进行变换等处理生成新的样本，扩大原始样本规模；
手掌分割模块，将整幅手骨X线片样本图像中的手掌区域和背景区域切割成图像样本块，手掌区域的采样图像样本块作为正样本，手掌区域之外的采样图像样本块作为负样本；正负样本块输入到卷积神经网络模型中，获得手掌分割结果，并将该手掌分割结果作为手掌分割模板；使用图像形态学方法对手掌模板图像进行后处理，将周围小面积干扰区域剔除，基于手掌分割模板进一步进行阈值分割操作，剔除手掌分割模板区域的肌肉组织区域，得到手骨X线片图像，该图像是带有年龄性别标记的手骨X线片图像；
骨龄分类预测模型建立的步骤，将分割得到的带有年龄性别标记的手骨X线片图像作为迁移学习的输入，建立骨龄分类预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711065065.4A CN107767376B (zh) | 2017-11-02 | 2017-11-02 | 基于深度学习的x线片骨龄预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711065065.4A CN107767376B (zh) | 2017-11-02 | 2017-11-02 | 基于深度学习的x线片骨龄预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107767376A CN107767376A (zh) | 2018-03-06 |
| CN107767376B true CN107767376B (zh) | 2021-03-26 |
Family
ID=61272375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711065065.4A Expired - Fee Related CN107767376B (zh) | 2017-11-02 | 2017-11-02 | 基于深度学习的x线片骨龄预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767376B (zh) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017022908A1 (ko) * | 2015-08-04 | 2017-02-09 | 재단법인 아산사회복지재단 | 심층신경망을 이용한 골 연령 산출방법 및 프로그램 |
| CN108629762B (zh) * | 2018-03-28 | 2021-08-03 | 浙江工业大学 | 一种骨龄评测模型减少干扰特征的图像预处理方法及系统 |
| CN108968991B (zh) * | 2018-05-08 | 2022-10-11 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
| CN110265119A (zh) * | 2018-05-29 | 2019-09-20 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其系统及其预测方法 |
| CN109215013B (zh) * | 2018-06-04 | 2023-07-21 | 平安科技（深圳）有限公司 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| CN108765417B (zh) * | 2018-06-15 | 2021-11-05 | 西安邮电大学 | 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法 |
| CN109036573A (zh) * | 2018-07-06 | 2018-12-18 | 苏州大学 | 基于生成式对抗网络技术的心电图生成及分类方法 |
| CN109036560B (zh) * | 2018-07-09 | 2021-10-01 | 广西壮族自治区妇幼保健院 | 骨发育分析系统 |
| CN109003274A (zh) * | 2018-07-27 | 2018-12-14 | 广州大学 | 一种区分肺结核与肿瘤的诊断方法、装置及可读存储介质 |
| WO2020024127A1 (zh) * | 2018-08-01 | 2020-02-06 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其系统及其预测方法 |
| CN108992082A (zh) * | 2018-08-21 | 2018-12-14 | 上海臻道软件技术有限公司 | 一种骨龄检测系统及其检测方法 |
| CN109345508B (zh) * | 2018-08-31 | 2021-07-27 | 北京航空航天大学 | 一种基于两阶段神经网络的骨龄评价方法 |
| CN109492522B (zh) * | 2018-09-17 | 2022-04-01 | 中国科学院自动化研究所 | 特定目标检测模型训练程序、设备及计算机可读存储介质 |
| CN109325532A (zh) * | 2018-09-18 | 2019-02-12 | 成都网阔信息技术股份有限公司 | 一种小样本下扩充数据集的图像处理方法 |
| US11227390B2 (en) | 2018-09-26 | 2022-01-18 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image processing |
| CN114332011A (zh) * | 2018-09-26 | 2022-04-12 | 上海联影智能医疗科技有限公司 | 一种医学图像处理系统、装置和计算机可读存储介质 |
| CN109272002B (zh) * | 2018-09-30 | 2020-11-24 | 杭州依图医疗技术有限公司 | 一种骨龄片的分类方法及装置 |
| WO2020093987A1 (zh) * | 2018-11-05 | 2020-05-14 | 上海联影智能医疗科技有限公司 | 医学图像处理方法、系统、计算机设备以及可读存储介质 |
| CN109544518B (zh) * | 2018-11-07 | 2020-11-03 | 中国科学院深圳先进技术研究院 | 一种应用于骨骼成熟度评估的方法及其系统 |
| US11367181B2 (en) | 2018-12-29 | 2022-06-21 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for ossification center detection and bone age assessment |
| CN109949280B (zh) * | 2019-03-06 | 2021-06-11 | 上海联影智能医疗科技有限公司 | 图像处理方法、装置、设备存储介质及生长发育评估系统 |
| CN109816721B (zh) * | 2018-12-29 | 2021-07-16 | 上海联影智能医疗科技有限公司 | 图像定位方法、装置、设备及存储介质 |
| TWI663960B (zh) * | 2019-01-17 | 2019-07-01 | China Medical University Hospital | 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法 |
| CN109816048B (zh) * | 2019-02-15 | 2021-02-05 | 聚时科技(上海)有限公司 | 一种基于属性迁移的图像合成方法 |
| CN109961424B (zh) * | 2019-02-27 | 2021-04-13 | 北京大学 | 一种手部x光图像数据的生成方法 |
| CN110051376A (zh) * | 2019-03-05 | 2019-07-26 | 上海市儿童医院 | 一种骨龄智能检测方法 |
| CN109984765A (zh) * | 2019-03-06 | 2019-07-09 | 杭州津禾生物科技有限公司 | 一种骨龄评测gp2-tw评测系统 |
| CN109994172A (zh) * | 2019-03-06 | 2019-07-09 | 杭州津禾生物科技有限公司 | 骨龄在线数字化测算及身高数据库管理系统 |
| CN109948522B (zh) * | 2019-03-18 | 2020-12-01 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| US11961235B2 (en) | 2019-03-25 | 2024-04-16 | Bonewise Inc. | Apparatus, method and recording medium storing instructions for determining bone age of teeth |
| CN109977864B (zh) * | 2019-03-26 | 2022-03-04 | 浙江康体汇科技有限公司 | 一种基于二次分类的手腕骨等级识别方法 |
| CN109961431B (zh) * | 2019-03-26 | 2022-04-12 | 浙江康体汇科技有限公司 | 一种基于概率的骨龄计算方法 |
| CN109961099B (zh) * | 2019-03-26 | 2022-03-04 | 浙江康体汇科技有限公司 | 一种基于身高年龄的多分类器手腕骨等级识别方法 |
| CN109948614B (zh) * | 2019-03-26 | 2022-06-28 | 浙江康体汇科技有限公司 | 一种基于机器学习的手腕骨兴趣区域切割方法 |
| CN111797264A (zh) * | 2019-04-09 | 2020-10-20 | 北京京东尚科信息技术有限公司 | 图像增广与神经网络训练方法、装置、设备及存储介质 |
| CN110503635B (zh) * | 2019-07-30 | 2022-04-05 | 浙江工业大学 | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 |
| TWI772663B (zh) * | 2019-08-05 | 2022-08-01 | 長佳智能股份有限公司 | 以個人裝置進行手骨骨齡即時判讀之系統及方法 |
| CN110555846A (zh) * | 2019-10-13 | 2019-12-10 | 浙江德尚韵兴医疗科技有限公司 | 基于卷积神经网络的全自动骨龄评定方法 |
| CN111127390B (zh) * | 2019-10-21 | 2022-05-27 | 哈尔滨医科大学 | 基于迁移学习的x射线影像处理方法及系统 |
| CN111080579B (zh) * | 2019-11-28 | 2023-05-26 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| CN111027571B (zh) * | 2019-11-29 | 2022-03-01 | 浙江工业大学 | 一种手腕部参照骨特征区域自适应提取方法 |
| CN111563874B (zh) * | 2020-03-05 | 2023-04-28 | 北京深睿博联科技有限责任公司 | 骨龄评测方法和装置 |
| CN111449644A (zh) * | 2020-03-19 | 2020-07-28 | 复旦大学 | 一种基于时频变换和数据增强技术的生物电信号分类方法 |
| CN112862749A (zh) * | 2020-12-29 | 2021-05-28 | 浙江康体汇科技有限公司 | 一种骨龄图像数字化处理后自动识别方法 |
| CN112907537A (zh) * | 2021-02-20 | 2021-06-04 | 司法鉴定科学研究院 | 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法 |
| CN112967375A (zh) * | 2021-02-20 | 2021-06-15 | 司法鉴定科学研究院 | 基于深度学习和虚拟影像技术的法医学骨盆性别鉴别方法 |
| CN113298780B (zh) * | 2021-05-24 | 2023-09-12 | 云南大学 | 一种基于深度学习的儿童骨龄评估方法及系统 |
| CN113936165B (zh) * | 2021-09-07 | 2024-06-07 | 上海商涌科技有限公司 | Ct图像的处理方法、终端及计算机存储介质 |
| CN114049303A (zh) * | 2021-10-12 | 2022-02-15 | 杭州电子科技大学 | 一种基于多粒度特征融合的渐进式骨龄评估方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804868A (zh) * | 2006-01-19 | 2006-07-19 | 昆明利普机器视觉工程有限公司 | 机器自动图像识别方法及装置 |
| CN1819794A (zh) * | 2003-06-19 | 2006-08-16 | 计算医学公司 | 利用dicom格式的骨骼x－射线图像分析骨骼状况的方法及系统 |
| CN102938055A (zh) * | 2012-10-09 | 2013-02-20 | 哈尔滨工程大学 | 一种手骨身份识别系统 |
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| CN103300872A (zh) * | 2013-05-29 | 2013-09-18 | 罗伟 | 一种分析骨龄的方法及检测装置 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN106202901A (zh) * | 2016-07-04 | 2016-12-07 | 奥美之路(北京)健康科技股份有限公司 | 骨龄远程在线判读系统 |
| CN106340000A (zh) * | 2015-07-06 | 2017-01-18 | 司法部司法鉴定科学技术研究所 | 骨龄评估方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200529794A (en) * | 2004-03-03 | 2005-09-16 | Chi-Wen Hsieh | Method of automatically evaluating age of bone and skeleton via hand X-ray photograph |
| US8280138B2 (en) * | 2009-09-10 | 2012-10-02 | General Electric Company | System and method for performing bone densitometer measurements |
| US9265472B2 (en) * | 2011-12-12 | 2016-02-23 | Sectra Ab | Methods, systems, services and circuits for generating rapid preliminary reports with bone mineral density measurements and/or osteoporosis risk assessments |
-
2017
- 2017-11-02 CN CN201711065065.4A patent/CN107767376B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1819794A (zh) * | 2003-06-19 | 2006-08-16 | 计算医学公司 | 利用dicom格式的骨骼x－射线图像分析骨骼状况的方法及系统 |
| CN1804868A (zh) * | 2006-01-19 | 2006-07-19 | 昆明利普机器视觉工程有限公司 | 机器自动图像识别方法及装置 |
| CN102938055A (zh) * | 2012-10-09 | 2013-02-20 | 哈尔滨工程大学 | 一种手骨身份识别系统 |
| CN102945545A (zh) * | 2012-10-18 | 2013-02-27 | 重庆医科大学 | 一种鲁棒的骨龄评定图像预处理及骨关键点定位方法 |
| CN103300872A (zh) * | 2013-05-29 | 2013-09-18 | 罗伟 | 一种分析骨龄的方法及检测装置 |
| CN106340000A (zh) * | 2015-07-06 | 2017-01-18 | 司法部司法鉴定科学技术研究所 | 骨龄评估方法 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN106202901A (zh) * | 2016-07-04 | 2016-12-07 | 奥美之路(北京)健康科技股份有限公司 | 骨龄远程在线判读系统 |
Non-Patent Citations (4)
| Title |
|---|
| Applicability of Greulich–Pyle and Tanner–Whitehouse grading methods to MRI when assessing hand bone age in forensic age estimation: A pilot study;Martin Urschler 等;《Forensic Science International》;20160617;第281-288页 * |
| 基于X光图像的骨龄评估系统设计与实现;董娜 等;《计算机技术与自动化》;20100331;第29卷(第1期);第67-71页 * |
| 基于X线影像的骨发育成熟度自动评价系统:研究进展和挑战;陈亿霖 等;《中国医学影像技术》;20041231;第20卷(第1期);第143-146页 * |
| 骨龄X射线图像的手骨兴趣区域定位研究;宋日刚;《计算机应用与软件》;20140731;第31卷(第7期);第226-232页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107767376A (zh) | 2018-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767376B (zh) | 基于深度学习的x线片骨龄预测方法及系统 | |
| US11922626B2 (en) | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN111931811B (zh) | 一种基于超像素图像相似度的计算方法 | |
| CN107280697A (zh) | 基于深度学习和数据融合的肺结节分级判定方法和系统 | |
| KR20190030151A (ko) | 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN108062749B (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN116434266B (zh) | 一种医疗检验单的数据信息自动提取分析方法 | |
| CN112699868A (zh) | 一种基于深度卷积神经网络的图像识别方法、设备 | |
| KR102639558B1 (ko) | 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN114240874A (zh) | 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质 | |
| Davis et al. | Automated bone age assessment using feature extraction | |
| CN117474876A (zh) | 基于深度学习的肾癌亚型辅助诊断及不确定性评估方法 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的系统和方法 | |
| Sameki et al. | ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently. | |
| CN114972263B (zh) | 一种基于智能图片分割的实时超声图像卵泡测量方法及系统 | |
| CN111046901A (zh) | 一种骨龄图像数字化处理后自动识别方法 | |
| CN116228660A (zh) | 胸部正片异常部位检测方法及装置 | |
| CN115762721A (zh) | 一种基于计算机视觉技术的医疗影像质控方法和系统 | |
| CN109509189B (zh) | 一种基于多个子区域模板的腹部肌肉标注方法及标注装置 | |
| CN111612755A (zh) | 肺部病灶分析方法、装置、电子设备和存储介质 | |
| WO2021128230A1 (zh) | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210326 |