CN111325734B - 一种基于视觉模型的骨龄预测方法及装置 - Google Patents

一种基于视觉模型的骨龄预测方法及装置 Download PDF

Info

Publication number
CN111325734B
CN111325734B CN202010114863.7A CN202010114863A CN111325734B CN 111325734 B CN111325734 B CN 111325734B CN 202010114863 A CN202010114863 A CN 202010114863A CN 111325734 B CN111325734 B CN 111325734B
Authority
CN
China
Prior art keywords
bone
rus
model
bone block
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010114863.7A
Other languages
English (en)
Other versions
CN111325734A (zh
Inventor
江翔
何必仕
陈晖�
徐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010114863.7A priority Critical patent/CN111325734B/zh
Publication of CN111325734A publication Critical patent/CN111325734A/zh
Application granted granted Critical
Publication of CN111325734B publication Critical patent/CN111325734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉模型的骨龄预测方法及装置。本发明的骨龄预测方法包括输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状‑纹理特征提取模型,获取RUS骨块形状‑纹理特征参数;以及根据支持向量回归模型计算得到RUS骨块分项骨龄和个体综合骨龄。本发明的骨龄预测装置包括:图像输入模块、RUS骨块定位模块,RUS骨块自适应分割模块、RUS骨块特征提取模块、RUS骨龄回归预测模块、骨龄报告输出模块以及数据库模块。本发明能够手骨X光图像的骨龄预测,并且无需链接骨骺等级标注数据库而直接输出RUS骨块分项骨龄和个体综合骨龄。

Description

一种基于视觉模型的骨龄预测方法及装置
技术领域
本发明涉及医学图像处理、计算机视觉领域,具体是涉及一种基于视觉模型的骨龄预测方法及装置。
背景技术
骨龄是临床上用来衡量少年儿童身体发育水平的重要指标,通常将手腕骨X线图像作为评价对象,由两位以上的内分泌科医生按照“双盲法”准则进行独立诊断。人工读片参照的骨龄评估标准有G-P法、TW3法和中华05法等,通常情况下经验丰富的医生评价单张骨龄片的时间花费约20~30分钟,评价误差可以低于0.5岁,而新手不仅需要花费2~3倍的时间,评价误差甚至高达1岁以上。
计算机辅助诊断骨龄的优势在于,机器能够成为双盲法中的独立单位,基于统一标准下的骨龄预测流程,能够避免由人的主观经验造成的不利影响,同时极大提高诊断速度,在精度达到专家级别的条件下大幅减轻医生的工作量。
当前医疗大数据技术和医疗影像AI技术的发展,尤其是深度卷积神经网络DNN的应用,给自动骨龄预测带来通用的解决方案。但是,基于深度学习的骨龄预测技术尚未成熟,例如数据清洗复杂,特征抽取困难,深层网络难以训练等。
现存的计算机辅助骨龄预测技术,大都需要对指骨、掌骨、腕骨和尺桡骨的发育等级进行评价;然而这些技术或多或少地存在适用范围小、预测精度不高、鲁棒性不好、无法端到端等缺点,尚缺少一种从训练到预测,全流程、高精度、易泛化、端到端的骨龄预测方案。
发明内容
本发明的主要目的提供一种基于视觉模型的骨龄预测方法及装置。本发明中所述视觉模型的范畴包含RUS骨块定位模型、自适应手骨分割模型、RUS骨块形状-纹理特征提取模型和支持向量回归模型(SVR)。本发明用以解决RUS骨块定位、RUS骨块轮廓分割、RUS骨块特征提取、RUS骨龄回归预测等关键技术难题,使得骨龄预测的流程快速、准确。
为了实现上述目的,根据本发明的一个方面,提供了一种骨龄预测方法。
本发明的骨龄预测方法包括:输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数;以及根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄。具体包含如下执行步骤S10~S40:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下执行步骤S101~S105:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直。
S102、通过图像平滑、阈值化、腐蚀(膨胀)等操作得到手部轮廓图像。
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括而不限于9个手掌峰谷点以及2个手腕部的关键点。
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域。
S105、进一步根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓。
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下执行步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法。
S202、以模型基准轮廓点周围m*m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓。
进一步地,所述自适应手骨分割模型包括而不限于ASM、AAM、CLM,或者基于点分布模型的改进模型。
进一步地,所述自适应手骨分割模型的训练包含如下执行步骤S2001~S2004:
S2001、收集公开的骨龄X光图像数据集,将其按照年龄段和性别分成若干组,记作M_S1,M_S2,…,F_S1,F_S2,…,组成若干训练集。
S2002、在每组训练集上,获取指骨、掌骨、尺桡骨等RUS骨块上的若干个轮廓点,经过旋转、平移之后得到位于同一基准下的轮廓点集合,计算训练集中所有轮廓点集合的均值,将其作为所述RUS骨块的基准轮廓点。
S2003、在每个RUS骨块所在的图像上,找出所获取轮廓点的局部特征。具体为将每个RUS骨块轮廓点的周围区域划分为m*m的单位Patch,计算每个Patch内的像素点灰度梯度,接着将所有Patch连接成灰度梯度向量,计算若干个灰度梯度向量投影到主方向上的向量,作为模型标准灰度梯度向量。
S2004、根据预设降采样因子,分别对模型的基准轮廓点坐标和标准灰度梯度向量进行缩放,保存下来供模型分层搜索时使用。
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下执行步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数。
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数。
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入。
进一步地,所述预设的图像特征描述子包括而不限于HOG、LBP、SIFT、GABOR、DPM等。
进一步地,所述形状、纹理主元提取矩阵的训练包含如下执行步骤S3001~S3003:
S3001、采用步骤S2001所述训练集,并采取与步骤S2002相同地RUS骨块的基准轮廓点训练方法,得到训练样本位于同一基准下的轮廓点集合,表示RUS骨块的对齐后形状。
S3002、将RUS骨块的对齐后形状的轮廓点坐标组成矩阵,对该矩阵进行降维,优选的方法是主元分析(PCA)。通过去平均值后计算协方差矩阵,进行SVD分解得到从大到小排序的特征值和相应特征向量,找出最优的主元个数K,并记录下前K个特征值对应的特征向量,将其组成形状主元提取矩阵。进一步地,将原轮廓点坐标矩阵与形状主元提取矩阵相乘后得到形状参数回归矩阵。
S3003、根据采用的一个或多个特征描述子,分别对RUS骨块进行局部纹理参数化,将得到的若干值归一化为一维纹理特征向量,并将训练集中所有纹理特征向量组成纹理矩阵,同理,经过降维后得到纹理主元提取矩阵和纹理参数回归矩阵。
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下执行步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄。
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值。
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应地置信区间;较佳地,余下分项骨龄的个数不得低于剔除前总数的60%,置信水平取95%。
进一步地,所述支持向量回归模型的训练包含如下执行步骤S4001~S4003:
S4001、将步骤S3002、S3003所述形状参数回归矩阵和纹理参数回归矩阵进行融合后的矩阵,以及专业医生给出的评估骨龄作为标签,共同组成SVR模型的训练集D。
S4002、选择合适的精度ε、核函数k以及惩罚参数C,求解对偶化最优问题,构造线性SVR超平面,得到SVR预测模型。
S4003、通过对RUS骨块的分项骨龄预测值进行误差分析,调整SVR预测模型参数直至模型拟合达到最优。
为了实现上述目的,根据本发明的另一方面,提供了一种骨龄预测装置。
本发明的骨龄预测装置包括:图像输入模块,用于输入待测骨龄X光图像;RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;以及RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;骨龄报告输出模块,用于骨龄预测报告的生成和输出;以及数据库模块,用于图像、报告的查询和修改。
本发明的有益效果:本发明能够实现1~18岁青少年手骨X光图像的骨龄预测,并且基于视觉模型的预测方法无需链接骨骺等级标注数据库而直接输出RUS骨块分项骨龄和个体综合骨龄,整个预测过程无需人工参与,实现端到端的预测。更进一步,本发明提供骨龄预测方法及装置遵循“双盲法”原则,独立预测骨龄,可以为医生提供一种可靠的骨龄辅助判别手段。
附图说明
下面将结合示意性实施例附图来帮助解释本发明的内容,并不构成对本发明的不当限定。
图1为本发明实施例提供的一种基于视觉模型的骨龄预测方法的流程图;
图2为本发明实施例提供的一种RUS骨块粗轮廓定位方法的流程图;
图3为本发明实施例提供的一种自适应手骨分割模型搜索算法的流程图;
图4为本发明实施例提供的一种RUS骨块形状-纹理特征参数提取的流程图;
图5为本发明实施例提供的一种支持向量回归模型预测骨龄的流程图;
图6为本发明实施例提供的一种基于视觉模型的骨龄预测装置的结构图。
具体实施方式
本发明提供一种基于视觉模型的骨龄预测方法及装置,为了更好的解释本发明的技术方案和有益效果,下面结合附图来进行详细说明。需要理解,以下所述具体实施例并不用于限定本发明的权利范围。
本发明实施例中所述的基于机器视觉的骨龄预测方法及装置适用于临床“双盲法”评估骨龄中,为医生提供独立、准确、快速的骨龄诊断,结合身高、体重、牙龄、内分泌指标等多项检查结果,辅助青少年的生长发育监测。
图1显示了本发明实施例提供的一种基于视觉模型的骨龄预测方法的流程图。具体包括步骤S10~S40:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓。
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓。
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数。
S40、根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄。
图2显示了本发明实施例提供的一种RUS骨块粗轮廓定位方法的流程图,具体包括步骤S101~S103:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直。
S102、优选地,通过图像平滑、OTSU阈值化、腐蚀(膨胀)等操作得到手部轮廓图像。
S103、优选地,获取手部轮廓图像上具有全局上下文信息的关键点,全局关键点选择为9个手掌峰谷点以及2个手腕部的关键点。
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域。
S105、进一步根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓。
图3显示了本发明实施例提供的一种自适应手骨分割模型搜索算法的流程图。具体包括步骤S201~S203:
S201、优选地,选择CLM作为手骨自适应分割模型,先按照CLM的分层搜索原理对待测图像进行降采样,降采样因子个数为4,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法。
S202、优选地,以模型基准轮廓点周围10*10的Patch作为匹配的基本单位,设置每层迭代次数为4,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预设图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓。
图4显示了本发明实施例提供的一种提取RUS骨块形状-纹理特征参数的流程图,具体包括步骤S301~S303:
S301、优选地,将由RUS骨块的细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数。
S302、优选地,根据预设的图像特征描述子SIFT、GABOR提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数。
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入。
图5显示了本发明实施例提供的一种支持向量回归模型预测骨龄的流程图,具体包括步骤S401~S403:
S401、优选地,将获得的300个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄。
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值。
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间;较佳地,余下分项骨龄的个数不得低于剔除前总数的60%,置信度取95%。
较佳地,图6显示了本发明实施例提供的一种基于视觉模型的骨龄预测装置的结构图。所述骨龄预测装置包括:图像输入模块,RUS骨块定位模块,RUS骨块自适应分割模块,RUS骨块特征提取模块,RUS骨龄回归预测模块,报告输出模块和数据库模块。其中图像输入模块,用于输入待测骨龄X线片图像;RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;骨龄报告输出模块,用于骨龄预测报告的生成和输出以及数据库模块,用于图像、报告的查询和修改。
尽管在具体实施方式中已经详细描述了本发明的优选例,但众所周知地,对于本领域的技术人员,在不付出创造性地劳动下,能够较易地对所述优选实施例做出修改和变更,需要指出,本发明所附权利要求意欲解释为包括优选实施例以及落入本发明权利要求范围内的所有修改和变更的实施例。

Claims (5)

1.一种基于视觉模型的骨龄预测方法,其特征在于:输入骨龄X光图像;根据RUS骨块定位模型,确定RUS骨块的粗轮廓;根据自适应手骨分割模型,确定RUS骨块的细轮廓;根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数;以及根据支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄,具体包含如下步骤:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下步骤:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直;
S102、通过图像平滑、阈值化、腐蚀操作得到手部轮廓图像;
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括9个手掌峰谷点以及2个手腕部的关键点;
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域;
S105、根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓;
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法;
S202、以模型基准轮廓点周围m×m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓;
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数;
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数;
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入;
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄;
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值;
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间。
2.根据权利要求1所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述自适应手骨分割模型的训练包含如下执行步骤S2001~S2004:
S2001、收集公开的骨龄X光图像数据集,将其按照年龄段和性别分成若干组,记作M_S1,M_S2,…,F_S1,F_S2,…,组成若干训练集;
S2002、在每组训练集上,获取RUS骨块上的若干个轮廓点,经过旋转、平移之后得到位于同一基准下的轮廓点集合,计算训练集中所有轮廓点集合的均值,将其作为所述RUS骨块的基准轮廓点;
S2003、在每个RUS骨块所在的图像上,找出所获取轮廓点的局部特征;具体为将每个RUS骨块轮廓点的周围区域划分为m*m的单位Patch,计算每个Patch内的像素点灰度梯度,接着将所有Patch连接成灰度梯度向量,计算若干个灰度梯度向量投影到主方向上的向量,作为模型标准灰度梯度向量;
S2004、根据预设降采样因子,分别对模型的基准轮廓点坐标和标准灰度梯度向量进行缩放,保存下来供模型分层搜索时使用。
3.根据权利要求2所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述形状主元提取矩阵以及纹理主元提取矩阵的训练包含如下执行步骤S3001~S3003:
S3001、采用步骤S2001所述训练集,并采取与步骤S2002相同地RUS骨块的基准轮廓点训练方法,得到训练样本位于同一基准下的轮廓点集合,表示RUS骨块的对齐后形状;
S3002、将RUS骨块的对齐后形状的轮廓点坐标组成矩阵,对该矩阵进行降维,通过去平均值后计算协方差矩阵,进行SVD分解得到从大到小排序的特征值和相应特征向量,找出最优的主元个数K,并记录下前K个特征值对应的特征向量,将其组成形状主元提取矩阵;将原轮廓点坐标矩阵与形状主元提取矩阵相乘后得到形状参数回归矩阵;
S3003、根据采用的一个或多个特征描述子,分别对RUS骨块进行局部纹理参数化,将得到的若干值归一化为一维纹理特征向量,并将训练集中所有纹理特征向量组成纹理矩阵,同理,经过降维后得到纹理主元提取矩阵和纹理参数回归矩阵。
4.根据权利要求3所述的一种基于视觉模型的骨龄预测方法,其特征在于:
所述支持向量回归模型的训练包含如下步骤:
S4001、将步骤S3002、S3003中所述形状参数回归矩阵和纹理参数回归矩阵进行融合后的矩阵,以及专业医生给出的评估骨龄作为标签,共同组成SVR模型的训练集D;
S4002、选择合适的精度ε、核函数κ以及惩罚参数C,求解对偶化最优问题,构造线性SVR超平面,得到SVR预测模型;
S4003、通过对RUS骨块的分项骨龄预测值进行误差分析,调整SVR预测模型参数直至模型拟合达到最优。
5.一种基于视觉模型的骨龄预测装置,其特征在于包括:
图像输入模块,用于输入待测骨龄X光图像;
RUS骨块定位模块,用于根据RUS骨块定位模型,确定RUS骨块的粗轮廓;
RUS骨块自适应分割模块,用于根据自适应手骨分割模型,确定RUS骨块的细轮廓;
RUS骨块特征提取模块,根据RUS骨块形状-纹理特征提取模型,获取若干个RUS骨块形状-纹理特征参数;
RUS骨龄回归预测模块,用于将所述形状-纹理特征参数输入支持向量回归模型,计算得到RUS骨块分项骨龄和个体综合骨龄;
骨龄报告输出模块,用于骨龄预测报告的生成和输出;
数据库模块,用于图像、报告的查询和修改;
其中图像输入模块和RUS骨块定位模块执行以下操作:
S10、输入骨龄X光图像,根据RUS骨块定位模型,确定RUS骨块的粗轮廓,包含如下步骤:
S101、判断是否是“左利手”以及手部摆姿是否标准,包括左手掌朝下,五指自然伸直,手腕中轴线与画幅横轴近似垂直;
S102、通过图像平滑、阈值化、腐蚀操作得到手部轮廓图像;
S103、获取手部轮廓图像上具有全局上下文信息的关键点,包括9个手掌峰谷点以及2个手腕部的关键点;
S104、根据手部轮廓上的若干关键点将手部分割为指骨区域、掌骨区域、腕骨区域和桡尺骨区域;
S105、根据9个手掌峰谷点分离出5个手指骨区域,再按照长度比例分割成近端、中端、远端指骨区域,得到指骨粗轮廓;同时联合手腕部2个关键点分离出单个掌骨粗轮廓以及桡、尺骨粗轮廓;
其中RUS骨块自适应分割模块执行以下操作:
S20、根据训练好的自适应手骨分割模型,确定RUS骨块的细轮廓,包含如下步骤S201~S203:
S201、先按照自适应手骨分割模型的分层搜索原理对待测图像进行降采样,然后在上一步得到的RUS骨块粗轮廓上执行边界搜索算法;
S202、以模型基准轮廓点周围m×m的Patch作为匹配的基本单位,设置每层迭代次数,将所有与轮廓点对应的单位Patch像素点连接成新的灰度梯度向量,并计算与模型标准灰度梯度向量的夹角;
S203、通过不断调整轮廓点的位置,使得梯度向量的夹角朝着全局最优的方向进行,直到完成所有预定图层的搜索,此时模型的基准轮廓点将收敛至RUS骨块的细轮廓;
其中RUS骨块特征提取模块执行以下操作:
S30、根据RUS骨块形状-纹理特征提取模型,获取RUS骨块形状-纹理特征参数,包含如下步骤S301~S303:
S301、将由RUS骨块细轮廓点的坐标组成的向量,与训练好的形状主元提取矩阵相乘后,获得RUS骨块形状特征参数;
S302、根据预设的图像特征描述子提取对应的局部纹理,并与训练好地纹理主元提取矩阵相乘后,获得RUS骨块纹理特征参数;
S303、将获得的RUS骨块形状、纹理特征参数进行融合,得到一维的形状-纹理特征参数向量,作为回归模型预测的输入;
其中RUS骨龄回归预测模块执行以下操作:
S40、根据支持向量回归模型,计算RUS骨块分项骨龄和个体综合骨龄,包含如下步骤S401~S403:
S401、将获得的若干个RUS骨块特征参数向量分别输入到相应的训练好的支持向量回归预测模型中,得到RUS分项骨龄;
S402、根据回归误差的高斯分布规律,将预测误差大于3σ的分项骨龄予以剔除,计算余下分项骨龄的均值;
S403、将分项骨龄均值作为个体的综合骨龄,并根据置信度计算相应的置信区间。
CN202010114863.7A 2020-02-25 2020-02-25 一种基于视觉模型的骨龄预测方法及装置 Active CN111325734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114863.7A CN111325734B (zh) 2020-02-25 2020-02-25 一种基于视觉模型的骨龄预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114863.7A CN111325734B (zh) 2020-02-25 2020-02-25 一种基于视觉模型的骨龄预测方法及装置

Publications (2)

Publication Number Publication Date
CN111325734A CN111325734A (zh) 2020-06-23
CN111325734B true CN111325734B (zh) 2023-06-27

Family

ID=71172906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114863.7A Active CN111325734B (zh) 2020-02-25 2020-02-25 一种基于视觉模型的骨龄预测方法及装置

Country Status (1)

Country Link
CN (1) CN111325734B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222996A (zh) * 2021-03-03 2021-08-06 中南民族大学 心脏分割质量评估方法、装置、设备及存储介质
CN114601483B (zh) * 2022-05-11 2022-08-16 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于图像处理的骨龄分析方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200529794A (en) * 2004-03-03 2005-09-16 Chi-Wen Hsieh Method of automatically evaluating age of bone and skeleton via hand X-ray photograph
CN109242867A (zh) * 2018-08-09 2019-01-18 杭州电子科技大学 一种基于模板的手骨自动分割方法
CN109377484B (zh) * 2018-09-30 2022-04-22 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置

Also Published As

Publication number Publication date
CN111325734A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN110680326B (zh) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
CN111325734B (zh) 一种基于视觉模型的骨龄预测方法及装置
CN108764361B (zh) 基于集成学习的游梁式抽油机示功图的工况识别方法
EP0626656A2 (en) Image processing system and method for automatic feature extraction
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN112862830A (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
Xie et al. Fabric defect detection method combing image pyramid and direction template
CN112508902A (zh) 白质高信号分级方法、电子设备及存储介质
Talavera-Martínez et al. A novel approach for skin lesion symmetry classification with a deep learning model
CN115908421A (zh) 一种基于超像素和多样性的主动学习医学图像分割方法
CN114757908A (zh) 基于ct影像的图像处理方法、装置、设备及存储介质
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
CN116757713B (zh) 基于图像识别的作品估值方法、装置、设备及存储介质
CN109190505A (zh) 基于视觉理解的图像识别方法
CN116664585A (zh) 基于深度学习的头皮健康状况检测方法及相关装置
CN116071348B (zh) 基于视觉检测的工件表面检测方法及相关装置
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN116778587A (zh) 一种基于深度学习的活体年龄推断方法、设备、存储介质
CN117292217A (zh) 一种基于对抗生成网络的皮肤分型数据增广方法与系统
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统
CN115393351A (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
CN109165586A (zh) 用于ai芯片的智能图像处理方法
CN115147359A (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant