CN113570618A - 一种基于深度学习的加权骨龄评估方法及系统 - Google Patents
一种基于深度学习的加权骨龄评估方法及系统 Download PDFInfo
- Publication number
- CN113570618A CN113570618A CN202110718695.7A CN202110718695A CN113570618A CN 113570618 A CN113570618 A CN 113570618A CN 202110718695 A CN202110718695 A CN 202110718695A CN 113570618 A CN113570618 A CN 113570618A
- Authority
- CN
- China
- Prior art keywords
- bone
- hand
- bones
- classification
- age
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 210000002411 hand bone Anatomy 0.000 claims abstract description 133
- 210000000707 wrist Anatomy 0.000 claims abstract description 61
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000011161 development Methods 0.000 claims abstract description 54
- 230000018109 developmental process Effects 0.000 claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 210000003010 carpal bone Anatomy 0.000 claims abstract description 30
- 210000000623 ulna Anatomy 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000014461 bone development Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013077 scoring method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000826860 Trapezium Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000003991 lunate bone Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000003189 scaphoid bone Anatomy 0.000 description 2
- 210000001713 trapezium bone Anatomy 0.000 description 2
- 102000018997 Growth Hormone Human genes 0.000 description 1
- 108010051696 Growth Hormone Proteins 0.000 description 1
- 206010053759 Growth retardation Diseases 0.000 description 1
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000002753 capitate bone Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002745 epiphysis Anatomy 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003163 gonadal steroid hormone Substances 0.000 description 1
- 239000000122 growth hormone Substances 0.000 description 1
- 231100000001 growth retardation Toxicity 0.000 description 1
- 210000000693 hamate bone Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000000874 microwave-assisted extraction Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 208000006155 precocious puberty Diseases 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的加权骨龄评估方法及系统,该方法包括:对测试者手骨的X光图像进行预处理;然后进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;将粗分割后的感兴趣区域集合输入手骨细分割模型,得到细分割后的多块手骨感兴趣区域;再分别输入手骨分类评级模型,得到每块手骨对应的分类和发育等级;根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS‑CHN方法评估的骨龄;根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3‑C Carpal方法评估的骨龄;将两种方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
Description
技术领域
本发明智能医学影像诊断技术领域,尤其涉及骨龄评估方法领域,具体涉及一种基于深度学习的加权骨龄评估方法及系统。
背景技术
骨龄是指根据骨骼的发育变化测定的体格发育年龄,是衡量儿章青少年骨骼发育程度的重要数据指标。
通常来讲,儿科内分泌科医生定期观察儿童左手X光图像以估计骨骼的成熟程度,进而评估患者生长发育情况或给出治疗措施。这其中最常采用的方法包括国外源起的G&P图谱法、TW2计分法、TW3计分法以及国内衍生出来的中华05计分法,但读取此类X光图像需要大量的临床经验来对图像做分析对比、统计、计算等工作,是一项劳动密集型任务,并且通常由受过训练的专家(如儿科放射科医生)执行。上述的评估过程不仅比较复杂,而且由评估人员带来的主观因素(例如,不同评估人员对某部分骨骼等级评定存在不同程度的认知,从而造成评估等级不同)及随机误差(人工读片时可能存在错读、漏读,标错等级等情况)也会对评估结果造成不同程度的影响。当前医疗大数据技术和医疗影像AI技术的发展不断推动骨龄评估去往新的研究方向,利用深度学习下的各种神经网络去评估手骨发育年龄的方法也变得层出不穷,目前国内外研究的基于计分法的骨龄自动评估基于的是单一方法下的骨龄评估标准,由于中华05计分法中涵盖多种评估方法且针对每一方法都给出评估标准细则,包括TW3-C RUS、TW3-C Carpal和RUS-CHN三类。因此我们考虑根据手骨各部位发育阶段的不同,采用RUS-CHN法和针对腕骨区域的TW3-C Carpal法加权的方式进行骨龄评估,以实现更具有临床价值的骨龄评估方式。
发明内容
本发明的目的在于克服现有技术缺陷,提出了一种基于深度学习的加权骨龄评估方法及系统。
一种基于深度学习的加权骨龄评估方法,所述方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
作为上述方法的一种改进,所述对测试者手骨的X光图像进行预处理;具体包括:
通过灰度转化函数使X光图像的直方图灰度均匀分布在适当的区间范围内,根据调整后的直方图对X光图像进行转化,增强图像对比度;
从转化后的X光图像提取手骨X光图像,消除背景噪声;
采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。
作为上述方法的一种改进,所述对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;具体包括:
遍历手部轮廓像素点,找到手部五个指尖与四个指间的连接凹点,通过四个凹点和腕部与掌部的连接点确定手掌中心,通过每个指尖与相邻两个凹点的中点确定一条直线,并旋转图像使直线垂直;使用该指尖的y坐标和手掌中心的y坐标设置感兴趣区域的上、下边界,使用相邻两个凹点的x坐标设置左右边界,从而确定每个掌指骨感兴趣区域集合;
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨和桡尺骨感兴趣区域集合的上边界,手腕轮廓左右像素的近似直线为左右边界,从而确定腕骨和桡尺骨的感兴趣区域集合位置。
作为上述方法的一种改进,所述手骨细分割模型的输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-C Carpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
作为上述方法的一种改进,所述方法还包括手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并从预处理后的X光图像中随机选取部分进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLO V3网络,从而得到训练好的手骨细分割模型。
作为上述方法的一种改进,所述手骨分类评级模型的输入为细分割后的13块手骨感兴趣区域以及7块腕骨感兴趣区域,输出为每块手骨对应的分类和发育等级以及每块腕骨对应的分类和发育等级;所述手骨分类评级模型采用Xception-BA网络。
作为上述方法的一种改进,所述方法还包括手骨分类评级模型的训练步骤;具体包括:
由手骨细分割模型训练集的13块手骨感兴趣区域和7块腕骨的感兴趣区域建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数为100,图像批量大小为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
作为上述方法的一种改进,所述将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果;具体包括:
根据测试者x的年龄和性别分别确定RUS-CHN方法评估的骨龄权重w1以及TW3-CCarpal方法评估的骨龄权重w2;
根据下式计算得到测试者x的骨龄评估结果H(x):
一种基于深度学习的加权骨龄评估系统,其特征在于,所述系统包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
所述细分割模块,用于将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果
与现有技术相比,本发明的优势在于:
本发明的方法采用粗分割与细分割结合的方法,通过深度学习得到手骨细分割模型和手骨分类评级模型,采用关注年龄段加权的骨龄估计方法,得到的估计结果准确率更高。
附图说明
图1是本发明的基于深度学习的加权骨龄评估方法流程图;
图2(a)是掩模处理前图像;
图2(b)是采用本发明的方法进行掩模处理后图像;
图3是采用本发明的方法进行去噪处理流程图;
图4(a)是仿射变换前手骨X光图像;
图4(b)是根据关键点坐标进行仿射变换后的手骨X光图像;
图5是腕骨感兴趣区域检测步骤;
图6是第三指骨感兴趣区域检测步骤;
图7是本发明所关注的所有手骨感兴趣区域,其中,1是第一远节指骨,2是第一近节指骨,3是第一掌骨,4是第三远节指骨,5是第三中节指骨,6是第三近节指骨,7是第三掌骨,8是第五远节指骨,9是第五中节指骨,10是第五近节指骨,11是第五掌骨,12是桡骨,13是尺骨,14是三角骨,15是月骨,16是舟骨,17是钩骨18是头状骨,19是小多角骨,20是大多角骨;
图8是RUS-CHN法手腕骨成熟度评价图(女);
图9是TW3-C Carpal法成熟度评价图(女)。
具体实施方式
本发明结合数字图像处理技术和深度学习方式,以中华05计分法为评估标准去研究一种计算机自动评定骨龄等级的方法,对提高骨龄等级评定的效率以及实现骨龄的自动识别具有重要意义。本发明采用多种图像处理方式对源X光片进行分步处理,确保得到适用于后面深度学习进行训练的网络模型输入数据;在骨龄评估方面,结合临床医学经验,将腕骨部分的TW3-C Carpal评级计分判定加入依据RUS-CHN法的对其他13块骨ROI区域评级计分判定,采用加权的方式对不同年龄段不同性别的儿童实现有针对性的骨龄评估。最终目的是得到囊括更多临床经验、精度高、速度快的骨龄评估结果,进而解决上述背景中提到的问题。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图所示,本发明的实施例1提供了一种基于深度学习的加权骨龄评估方法。
该方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到对应不同掌指骨的感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合;
将粗分割后的多个掌指骨感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合输入预先建立的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
一、图像预处理
本发明使用了两个数据集,一个是来自北美放射学会(RSNA)提供的公开数据集,另一个是来自内蒙古人民医院提供的本地数据集。数据集图像在明暗度上差异较大,整体图像质量欠佳,存在标尺噪声,灰度分布不均匀、空间坐标未对齐等问题。
1、直方图均衡化操作通过灰度转化函数使直方图的灰度均匀分布在适当的区间范围内,然后根据调整后的直方图对原输入图像进行转化,达到增强图像对比度的效果。rk∈[0,1]表示灰度级,nk表示出现这种灰度级的像素数,Pr(rk)表示灰度级rk出现的概率。其实现过程如下:
灰度的转化函数如下:
通过上式,计算出原灰度级为rk的像素点在均衡后的灰度级sk
2、手骨提取即消除图像中除手骨之外的背景噪声。
首先,使用标注工具手动标注100张手骨X光图像的手骨掩模,确保把手骨区域从图像的背景里分割出来,如图2(a)、(b)所示。然后,使用这些手动标注的图像作为训练集和验证集,开展U-Net网络的初步训练。为了加速模型的收敛速度,缓解梯度消失等问题,训练过程结合了批次规范化操作,通过对训练时的每个批次数据进行规范化计算,输出均值为0、方差为1的数据,从而更加容易和稳定地训练U-Net。由于每张手骨X光图像中有且仅有一只手骨,因此对于每个分割结果,需要移除小的、无关的连接部分,仅保留最大的一块掩模。
经过100张标注好的手骨X光图像数据的训练,U-Net网络可以进行初步的手骨X光图像的去噪操作,虽然去噪效果参差不齐,但部分图像可以取得较好的去噪结果,使用去噪结果较好的图像作为训练集的扩充,继续进行U-Net网络的二次训练。经过反复的迭代训练,U-Net网络在整个数据集上可以达到令人满意的去噪效果。整个U-Net网络迭代训练的过程示意图如图3所示。
3、手骨矫正。
图像存在手骨姿态不一致的问题,如果将其直接输入到后续网络中会影响模型学习效果,因此必须对图像进行矫正。采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。如图4(a)、(b)所示。
二、粗分割和细分割
1、粗分割:
掌指骨ROI-C检测步骤如下:
遍历手部轮廓像素点,找到手部五个指尖与四个指间连接凹点;通过四个凹点和腕部与掌部连接点确定手掌中心;以第三指骨ROI-C检测为例,通过第三指尖与第二第三凹点的中点确定一条直线,并旋转图像使直线垂直;使用指尖的y坐标和手掌中心的y坐标设置ROI-C的上、下边界,使用两侧凹点的x坐标设置左右边界,如图5所示。
腕骨、桡尺骨ROI-C检测步骤如下:
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨、桡尺骨ROI-C上边界,手腕轮廓左右像素近似的直线为左右边界确定腕骨、桡尺骨ROI-C位置,如图6所示。
对通过图像处理检测得到的ROI-C区域进行图像分割,为接下来实际ROI检测做准备,得到4个ROI-C图像如图7所示。
2、细分割:
对于粗分割后得到的如图7所示的4个感兴趣区域集合,利用YOLO V3网络再进行细分割,得到图示所标出的20个手骨感兴趣区域;
三、13块手骨ROI的分别评级(根据RUS-CHN的骨龄评估)
RUS-CHN方法是中华05计分法下对传统13块掌指骨及桡尺骨发育等级进行评估从而得出骨龄的方法:经细分割得到掌指骨及桡尺骨部分的13块骨骼,然后根据表1得到对应的发育分数,将各骨发育等级得分相加,得到对应的成熟度得分。根据所使用的评价方法以及所评价对象的性别,选择相应的手腕骨发育成熟度评价图。根据所评价对象的生活年龄和手腕骨发育成熟度得分,评估该儿童的发育状况以及在其年龄组中所处的位置,由曲线图读出骨龄值,如图8所示。
需要说明的是,本实施例以女性手骨举例,但并不限制于女性的骨龄评估,本技术方案对男性和女性的骨龄评估均适合。对于男性骨龄评估,相应的选取男性相关得分表。
表1 RUS-CHN方法手腕骨发育等级得分表(女)
四、腕骨部分的分割和等级评估(根据TW3-C Carpal的骨龄评估)
TW3-C Carpal方法是中华05计分法下单独对腕骨部分的7块骨骼发育等级进行评估从而得出骨龄的方法:经细分割得到腕骨部分的七块骨骼:头状骨、钩骨、三角骨、月骨、舟骨和大、小多角骨,然后根据表4得到对应的发育分数,将各骨发育等级得分相加,得到手腕骨成熟度得分。根据所使用的评价方法以及所评价对象的性别,选择相应的手腕骨发育成熟度评价图。根据所评价对象的生活年龄和手腕骨发育成熟度得分,评价该儿童的发育状况以及在其年龄组中所处的位置,由曲线图读出骨龄值,如图9所示。
表2 TW3-C Carpal方法手腕骨发育等级得分表(女)
由于评估腕骨骨龄主要依据头状骨、钩骨、三角骨、月骨、舟骨和大、小多角骨等7枚腕骨骨骺的形态变化和关节面形成过程。腕骨早期发育阶段在X光片上表现为密集的点,随发育而不断增大,最后增长至最佳大小和特定形状。与长骨发育不同,腕骨在青春期之前发育较快,男孩在13岁左右、女孩在11岁左右腕骨已经接近成熟。由于腕骨分期的个体差异较大,有学者建议不宜采用腕骨评估儿童骨龄,尤其对年龄稍大的儿童,应使用长骨;但相对于手腕部长短管状骨,腕骨生长发育对性激素的稍差,结合长骨骨龄的变化有助于早期诊断性早熟;此外,结合临床专业医师对于手骨X光片的判读经验,部分放射科医师尤其会针对腕骨部分ROI进行研究,并以腕骨部分的发育情况作为主要参考目标。以往研究表明,单纯性生长激素分泌不足儿童骨成熟延迟,而腕骨延迟程度较长骨更严重,故评估腕骨骨龄对诊断及治疗肥胖和生长迟缓等常见生长异常状况具有重要意义。男孩7岁左右、女孩5岁左右,7枚腕骨会出现重叠。
本发明采用深度学习的方法,构建手骨细分割模型,输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-CCarpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLO V3网络。
手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并对预处理后的部分X光图像进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLO V3网络,从而得到训练好的手骨细分割模型。
本发明采用深度学习的方法,构建手骨发育等级分类模型,提出的Xception-BA骨龄发育分类算法通过神经网络自主学习的方式复现医生对每一块进行完粗分割和细分割后的手骨ROI的特征分析过程,以实现精确、快速的发育等级判别,进而实现骨龄评估。
手骨分类评级模型的训练步骤;具体包括:
对原始数据集经预处理、粗分割及细分割后建立的13块手骨ROI和7块腕骨ROI形成新的数据集,并从数据集中取部分数据建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数epochs为100,图像批量大小batch_size为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
利用经优化过后的Xception-BA网络对所有手骨ROI进行训练,模型构建与训练的深度学习框架为Keras2.4和TensorFlow1.15,通过Python3.6编程实现。系统运行环境为Ubuntu16.04,使用GPU进行加速,机器型号为NVIDIA2080,显存为8G。
模型训练时,训练集和测试集的比例设置为9:1,训练迭代次数epochs=100,图像批量大小batch_size=32。训练中采用的优化方案为Adagrad,学习率learning_rate设为0.05。
模型在epoch为20附近时开始收敛,最终在训练集下loss值为32,测试集里loss值为120,在训练集及测试集的MAE分别为4.3和8.4。
五、二者合理加权得出最终骨龄评估结果
儿童检测手骨发育年龄一般(整个数据集遍历的年龄范围)为0~18岁,其中腕骨部分的7块骨骼在7到12岁发育特征明显,在7岁之前并未发育出来,在13岁之后基本定型,不会再有显著的发育特征变化。结合临床医师的经验和建议,我们在儿童手骨属于该发育阶段可以将7枚腕骨的发育特征同传统的13块掌指骨发育特征结合起来共同使用深度学习方法去训练学习进而得出最终骨龄。
首先将13块传统手骨ROI采用Xception-BA算法进行骨龄发育等级分类并转化为相应分数,并根据RUS-CHN评分所建立分数-等级骨龄换算模型将分数映射得到这部分的骨龄评估结果,然后继续使用同样的深度学习网络对7枚腕骨进行评估得到腕骨部分的骨龄评估结果,接着将二者的评估结果加权,从而得出最终的骨龄评估结果。
由于腕骨部分评估骨龄需要在特定年龄段(7~12岁)才能发挥其作用,而且腕骨在临床应用上也根据医生选择作为骨龄评估的主要甄别点或者参考点,所以我们可以根据不同年龄段、不同性别、不同训练样本去赋给腕骨部分不同的权重,最终结合其他13块手骨ROI得出一个更接近实际的骨龄评估结果;如公式(3)为一般采用加权平均所用到的基本公式:
加权平均法的权重ωi一般从训练数据中学习而得,也可以在开始人为随机分配不同大小的权重,但是有时候权重分配不合适较容易导致训练结果过拟合。
如下表:w1表示采用传统RUS-CHN方法评估13块手骨得出的骨龄结果所赋予的权重,w2表示采用TW3-C Carpal方法评估7块腕骨得出的骨龄结果所赋予的权重,表左侧为年龄段,可以看到在7~12岁阶段w2占得比重比其他两个阶段要大。
表3年龄和骨龄权重示意
实施例2
本发明的实施例2提出了一种基于深度学习的加权骨龄评估系统,所述系统包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;具体处理方法同实施例1,其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到对应不同掌指骨的感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合;
所述细分割模块,用于将粗分割后的多个掌指骨感兴趣区域集合和腕骨及桡尺骨感兴趣区域集合输入预先建立的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于深度学习的加权骨龄评估方法,所述方法包括:
对测试者手骨的X光图像进行预处理;
对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-CCarpal方法评估的骨龄;
将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
2.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述对测试者手骨的X光图像进行预处理;具体包括:
通过灰度转化函数使X光图像的直方图灰度均匀分布在适当的区间范围内,根据调整后的直方图对X光图像进行转化,增强图像对比度;
从转化后的X光图像提取手骨X光图像,消除背景噪声;
采用仿射变换使手骨X光图像在空间坐标上实现对齐和匹配。
3.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;具体包括:
遍历手部轮廓像素点,找到手部五个指尖与四个指间的连接凹点,通过四个凹点和腕部与掌部的连接点确定手掌中心,通过每个指尖与相邻两个凹点的中点确定一条直线,并旋转图像使直线垂直;使用该指尖的y坐标和手掌中心的y坐标设置感兴趣区域的上、下边界,使用相邻两个凹点的x坐标设置左右边界,从而确定每个掌指骨感兴趣区域集合;
遍历手部轮廓像素点,分别找到左侧腕部与掌部的第一连接点以及右侧腕部与掌部的第二连接点,由第一连接点和第二连接点分别向下遍历确定手腕轮廓左右两侧的第一连接点集合和第二连接点集合,由第一连接点集合和第二连接点集合对应的点确定手腕中点集合,通过回归分析方法确定手腕中点集合的近似直线,计算直线的倾斜角,并用于旋转图像,使手腕垂直;手掌中心为腕骨和桡尺骨感兴趣区域集合的上边界,手腕轮廓左右像素的近似直线为左右边界,从而确定腕骨和桡尺骨的感兴趣区域集合位置。
4.根据权利要求3所述的基于深度学习的加权骨龄评估方法,其特征在于,所述手骨细分割模型的输入为粗分割得到的4块感兴趣区域,输出为RUS-CHN方法所关注的13块手骨感兴趣区域以及TW3-C Carpal方法所关注的7块腕骨感兴趣区域,手骨细分割模型采用YOLOV3网络。
5.根据权利要求4所述的基于深度学习的加权骨龄评估方法,其特征在于,所述方法还包括手骨细分割模型的训练步骤;具体包括:
由公开数据集和本地数据集得到手骨的X光图像;
对手骨的X光图像进行预处理,并从预处理后的X光图像中随机选取部分进行手动标注得到每张图像对应的手骨掩模,将预处理后的X光图像和对应的手骨掩模建立训练集;
将训练集输入YOLO V3网络中,经过反复迭代训练,得到损失函数符合预设条件的YOLOV3网络,从而得到训练好的手骨细分割模型。
6.根据权利要求1所述的基于深度学习的加权骨龄评估方法,其特征在于,所述手骨分类评级模型的输入为细分割后的13块手骨感兴趣区域以及7块腕骨感兴趣区域,输出为每块手骨对应的分类和发育等级以及每块腕骨对应的分类和发育等级;所述手骨分类评级模型采用Xception-BA网络。
7.根据权利要求6所述的基于深度学习的加权骨龄评估方法,其特征在于,所述方法还包括手骨分类评级模型的训练步骤;具体包括:
由手骨细分割模型训练集的13块手骨感兴趣区域和7块腕骨的感兴趣区域建立训练集;
将训练集数据输入Xception-BA网络,训练迭代次数为100,图像批量大小为32,训练中采用的优化方案为Adagrad,学习率为0.05,得到训练好的手骨分类评级模型。
9.一种基于深度学习的加权骨龄评估系统,其特征在于,所述系统包括:手骨细分割模型、手骨分类评级模型、预处理模块、粗分割模块、细分割模块、分类评级模块、RUS-CHN评估模块、TW3-C Carpal评估模块和加权输出模块;其中,
所述预处理模块,用于对测试者手骨的X光图像进行预处理;
所述粗分割模块,用于对预处理后的图像进行粗分割,分别得到腕骨及桡尺骨感兴趣区域集合和对应不同掌指骨的感兴趣区域集合;
所述细分割模块,用于将粗分割后的腕骨及桡尺骨感兴趣区域集合和多个掌指骨感兴趣区域集合输入预先建立和训练好的手骨细分割模型,得到细分割后的多块手骨感兴趣区域;
所述分类评级模块,用于将细分割后得到的多块手骨感兴趣区域分别输入预先建立和训练好的手骨分类评级模型,得到每块手骨对应的分类和发育等级;
所述RUS-CHN评估模块,用于根据掌指骨及桡尺骨发育成熟度评价图,由每块手骨对应的分类和发育等级得到RUS-CHN方法评估的骨龄;
所述TW3-C Carpal评估模块,用于根据手腕骨发育成熟度评价图,由每块腕骨对应的分类和发育等级得到TW3-C Carpal方法评估的骨龄;
所述加权输出模块,用于将RUS-CHN方法评估的骨龄和TW3-C Carpal方法评估的骨龄进行加权求和,得到测试者的最终骨龄评估结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110718695.7A CN113570618B (zh) | 2021-06-28 | 2021-06-28 | 一种基于深度学习的加权骨龄评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110718695.7A CN113570618B (zh) | 2021-06-28 | 2021-06-28 | 一种基于深度学习的加权骨龄评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113570618A true CN113570618A (zh) | 2021-10-29 |
CN113570618B CN113570618B (zh) | 2023-08-08 |
Family
ID=78162970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110718695.7A Active CN113570618B (zh) | 2021-06-28 | 2021-06-28 | 一种基于深度学习的加权骨龄评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113570618B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
CN118177843A (zh) * | 2024-03-15 | 2024-06-14 | 南昌大学第二附属医院 | 一种多维度左手腕部骨格形态学系列骨龄评分方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060203956A1 (en) * | 2005-02-25 | 2006-09-14 | Rainer Raupach | Method for an x-ray device and computer tomograph for reducing beam hardening artifacts from a generated image of an object |
US20140375635A1 (en) * | 2013-06-21 | 2014-12-25 | Kabushiki Kaisha Toshiba | Methods and systems for generating a three dimensional representation of a subject |
CN109272002A (zh) * | 2018-09-30 | 2019-01-25 | 杭州依图医疗技术有限公司 | 一种骨龄片的分类方法及装置 |
CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
CN112785559A (zh) * | 2021-01-05 | 2021-05-11 | 四川大学 | 基于深度学习的多个异构模型相互组合的骨龄预测方法 |
CN112862749A (zh) * | 2020-12-29 | 2021-05-28 | 浙江康体汇科技有限公司 | 一种骨龄图像数字化处理后自动识别方法 |
-
2021
- 2021-06-28 CN CN202110718695.7A patent/CN113570618B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060203956A1 (en) * | 2005-02-25 | 2006-09-14 | Rainer Raupach | Method for an x-ray device and computer tomograph for reducing beam hardening artifacts from a generated image of an object |
US20140375635A1 (en) * | 2013-06-21 | 2014-12-25 | Kabushiki Kaisha Toshiba | Methods and systems for generating a three dimensional representation of a subject |
CN109272002A (zh) * | 2018-09-30 | 2019-01-25 | 杭州依图医疗技术有限公司 | 一种骨龄片的分类方法及装置 |
CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
CN112862749A (zh) * | 2020-12-29 | 2021-05-28 | 浙江康体汇科技有限公司 | 一种骨龄图像数字化处理后自动识别方法 |
CN112785559A (zh) * | 2021-01-05 | 2021-05-11 | 四川大学 | 基于深度学习的多个异构模型相互组合的骨龄预测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114601483A (zh) * | 2022-05-11 | 2022-06-10 | 山东第一医科大学第一附属医院(山东省千佛山医院) | 一种基于图像处理的骨龄分析方法及系统 |
CN118177843A (zh) * | 2024-03-15 | 2024-06-14 | 南昌大学第二附属医院 | 一种多维度左手腕部骨格形态学系列骨龄评分方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113570618B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108056786B (zh) | 一种基于深度学习的骨龄检测方法和装置 | |
CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
CN103310457B (zh) | 一种基于抛物线修正凸包的肺实质分割方法 | |
CN104809740B (zh) | 基于svm与弹性区域生长的膝软骨图像自动分割方法 | |
CN108334899A (zh) | 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法 | |
WO2022037548A1 (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
CN112465772B (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
CN113570618B (zh) | 一种基于深度学习的加权骨龄评估方法及系统 | |
CN110490892A (zh) | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 | |
US7421104B2 (en) | Method of automatically assessing skeletal age of hand radiographs | |
CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
CN109829942A (zh) | 一种眼底图像视网膜血管管径自动量化方法 | |
CN106340000A (zh) | 骨龄评估方法 | |
CN112699845A (zh) | 一种在线非接触手掌静脉感兴趣区域提取方法 | |
Hsieh et al. | Bone age estimation based on phalanx information with fuzzy constrain of carpals | |
CN115661149B (zh) | 一种基于肺部组织数据的肺部影像处理系统 | |
CN112768065B (zh) | 一种基于人工智能的面瘫分级诊断方法、装置 | |
CN114795258B (zh) | 一种儿童髋关节发育不良诊断系统 | |
CN117876402B (zh) | 一种用于颞下颌关节紊乱病影像的智能分割方法 | |
CN112862749A (zh) | 一种骨龄图像数字化处理后自动识别方法 | |
Zhang et al. | A snake‐based approach to automated segmentation of tongue image using polar edge detector | |
CN117522862A (zh) | 一种基于ct影像肺炎识别的图像处理方法及处理系统 | |
Lu et al. | Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese | |
CN115359002A (zh) | 一种颈动脉超声图像斑块自动检测系统及方法 | |
CN111292285A (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |