CN111161254A - 一种骨龄预测方法 - Google Patents

一种骨龄预测方法 Download PDF

Info

Publication number
CN111161254A
CN111161254A CN201911416919.8A CN201911416919A CN111161254A CN 111161254 A CN111161254 A CN 111161254A CN 201911416919 A CN201911416919 A CN 201911416919A CN 111161254 A CN111161254 A CN 111161254A
Authority
CN
China
Prior art keywords
bone age
metacarpal
bone
image
age prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911416919.8A
Other languages
English (en)
Inventor
蔡广
周水庚
黄志超
潘其乐
景晨
朱镕鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI RESEARCH INSTITUTE OF SPORTS SCIENCE
Original Assignee
SHANGHAI RESEARCH INSTITUTE OF SPORTS SCIENCE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI RESEARCH INSTITUTE OF SPORTS SCIENCE filed Critical SHANGHAI RESEARCH INSTITUTE OF SPORTS SCIENCE
Priority to CN201911416919.8A priority Critical patent/CN111161254A/zh
Publication of CN111161254A publication Critical patent/CN111161254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种骨龄预测方法，通过一预设训练集预先训练形成一个骨龄预测模型并使用该种骨龄预测模型进行骨龄预测。本技术方案通过一全新的注意力机制添加方式，根据骨龄预测模型中不同卷积层信息耦合程度针对性地添加注意力机制，改进了传统注意力机制不易收敛的问题；将性别信息直接加入神经网络模型中进行端对端训练，在优化训练过程的同时进一步提升了骨龄预测的准确性；该种骨龄预测方法使用的骨龄预测模型通过注意力机制可视化验证，反映该模型更加关注于集中呈现患者发育程度的手骨部位，具有良好的预测效果。

Description

一种骨龄预测方法
技术领域
本发明涉及骨龄预测领域，尤其涉及一种骨龄预测方法。
背景技术
骨龄是表征青少年发育程度的一种生理年龄，在身高预测，运动员选拔，以及医疗健康领域都有广泛的运用，对骨龄进行定量测定的方法称之为骨龄预测。骨龄预测分为传统人工骨龄预测法，基于机器学习的骨龄预测方法，以及近期涌现的关于深度学习的骨龄预测方法。
传统的骨龄预测方法一般包括计数法，图谱法(如GP图谱法)以及评分法(如TW，CNH,中华05法)。计数法就是对手掌骨的各个骨化中心以及骨骺成型区域进行计数，不同的数值对应着不同的骨龄值，这种方法简单但是效果较差实用性不强。GP图谱法是最典型的一种图谱法，这类方法主要通过将X光照片与标准骨龄照片进行比对从而判断具体的骨龄值，标准骨龄照片的间隔为一岁，如果比对结果位于两张标准图片的中间，则选择最像的一个，这类方法实现同样容易，而且相较于计数法更加准确。TW系列的骨龄评分法则是对每一个骨骼的发育程度赋予一个权值，然后求和作为评分数值，这个评分数值范围在0到1000，而对应的骨龄取值范围为0岁至15岁，最小精确到0.1年，因此这类方法的精度比前两种方法大大提升，但是此类方法计算效率比较慢，而且经验不足的医生容易混淆权值导致错判。
由于传统骨龄预测方法耗时较长，并且对医生的临床经验要求较高，医生们需要一个快速而且较为准确的辅助骨龄预测手段，因此催生出了基于机器学习与传统图像处理结合的自动骨龄预测方法。此类方法最成功的是BoneXpert，该系统被成功搭载在一些医疗设备上并且进行商用。BoneXpert利用活动外观模型(Active Appearance Model，AAM)自动分割手部和腕部的15根骨骼，然后根据各自形状，强度和纹理特征确定GP或TW2骨龄，最终将各个骨骼的骨龄转化为整体骨龄。尽管BoneXpert已经达到了一定程度的准确性，但它有几个关键限制因素。BoneXpert不能直接预测骨龄，它的预测主要由年龄和骨龄的相关性决定。而且该系统非常脆弱，并且会在图片噪声过大时会拒绝此X光片。
近些年，随着人工智能特别是深度学习领域的快速发展，出现了一些通过深度学习来进行骨龄预测的方法。(Tajmir等人，2019)提出了一种自动骨龄预测流程，首先对输入图片进行归一化去除图片的对比度差异，然后训练一个有监督的卷积神经网络分割一个覆盖图片感兴趣区域的粗糙掩膜，然后通过最大连通域算法求得正确掩膜，最后求交集得到图片的感兴趣区域最后进行分类。(C.Spampinato等人，2017)考虑到X光照片中手掌位置不固定问题，在模型中加入了空间变换网络(spatial transformer network，STN)无监督地对手掌位置进行配准，但是这样做导致网络训练极其困难，甚至影响了最后预测的精度。(Iglovikov等人，2017)同样提出了一套预处理流程，首先训练分割网络分割出图片中手掌骨的区域，然后训练配准网络对图片感兴趣区域配准到固定位置。作者由于考虑到不同的性别可能对骨龄预测产生不同影响因此将模型通过性别区分，作者也考虑到了不同骨骼区域(整个手掌骨，腕骨，掌骨与指骨)可能对预测准确率产生不同影响因此又将模型对不同区域进行区分，同时作者也考虑到了此类问题是分类还是回归的定义问题，最后作者将这些因素进行排列组合一共训练了15个网络。最终发现区分性别效果好于不区分，分类网络效果略好于回归网络，基于整个手掌骨区域的模型大部分情况准确率最高，部分女性的模型中基于腕骨的模型略好于基于整个手掌骨区域，而对所有模型进行集成效果最好。虽然这些方法将深度学习技术运用在了骨龄预测领域中使得模型预测速度以及准确度都有所提升，但是这类方法没有使得模型关注到对于骨龄预测的关键骨骼区域，使得模型鲁棒性以及可解释性较差，并且在准确率上仍然有可以优化空间。
发明内容
针对现有技术中存在的上述问题，现提供一种骨龄预测方法，具体技术方案如下所示：
一种骨龄预测方法，应用于X光图片骨龄预测，其特征在于，预先通过一预设训练集训练形成一个骨龄预测模型；
预设训练集包括多张测骨龄用X光图片、每张测骨龄用X光图片对应的测试者的性别信息和每张测骨龄用X光图片对应的测试者的骨龄确定值；
骨龄预测模型通过一基准卷积神经网络训练得到，针对骨龄预测模型的训练过程具体包括：
步骤A1，按次序从预设训练集中循环提取一测骨龄用X光图片及对应的性别信息并作为一待训练数据集合；
步骤A2，对待训练数据集合进行预处理，输出相应的待训练参数集合；
步骤A3，将待训练参数集合输入基准卷积神经网络进行前向传播，得到一骨龄预测值；
步骤A4，根据骨龄预测值和对应的骨龄确定值进行误差计算，得到一损失函数；
步骤A5，根据损失函数得到一损失函数梯度，基准卷积神经网络根据损失函数梯度进行反向传播以完成一次训练；
步骤A6，判断损失函数的波动范围是否属于一预设范围：
若否，则返回步骤A1；
若是，则将训练后的基准卷积神经网络作为骨龄预测模型进行输出；
训练形成骨龄预测模型后，将骨龄预测模型应用于骨龄预测方法中，骨龄预测的过程具体包括：
步骤S1，获取待测试者的测骨龄用X光图片和待测试者的性别信息并作为一待预测数据集合；
步骤S2，对待预测数据集合进行预处理，输出相应的待预测参数集合；
步骤S3，将待预测参数集合输入骨龄预测模型，得到一对应的骨龄预测值并输出。
优选的，该种骨龄预测方法，其中基准卷积神经网络包括一特征提取网络和一骨龄计算网络；
特征提取网络用于对待训练参数集合进行特征提取，输出一特征向量；
骨龄计算网络的输入端连接特征提取网络的输出端，用于根据特征向量进行处理，输出骨龄预测值。
优选的，该种骨龄预测方法，其中基准卷积神经网络采用Inception-V3模型实现；
特征提取网络包括十个依次连接的卷积层和一全面池化层；
于特征提取网络中设置一空间域注意力模块，空间域注意力模块的输入端连接第七个卷积层的输出端，空间域注意力模块的输出端连接全面池化层的输入端，空间域注意力模块用于对第七个卷积层输出的第一特征向量进行空间注意力权重添加，并向全面池化层输出一第一加权特征向量；
于特征提取网络中设置一通道域注意力模块，通道域注意力模块的输入端连接第十个卷积层的输出端，通道域注意力模块的输出端连接全面池化层的输入端，通道域注意力模块用于对第十个卷积层输出的第二特征向量进行推导注意力权重添加，并向全面池化层输出一第二加权特征向量；
全面池化层用于根据第一加权特征向量和第二加权特征向量进行全局平均池化，输出特征向量。
优选的，该种骨龄预测方法，其中步骤A2进一步包括：
步骤A21，提取待训练数据集合中的测骨龄用X光图片，并对测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤A22，对掌骨图像分别进行随机随机数据增强，得到对应的掌骨增强图像；
步骤A23，分别对每个掌骨增强图像进行归一化处理；
步骤A24，获取归一化掌骨图像的三通道图片灰度值，三通道图片灰度值的集合包括于待训练参数集合。
优选的，该种骨龄预测方法，其中步骤S2进一步包括：
步骤S21，提取待预测数据集合中的测骨龄用X光图片，并对测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤S22，对掌骨图像分别进行三次随机数据增强，得到对应的三个掌骨增强图像；
步骤S23，分别对每个掌骨增强图像进行归一化处理，得到对应的三个归一化掌骨图像；
步骤S24，获取每个归一化掌骨图像的三通道图片灰度值，三通道图片灰度值的集合包括于待预测参数集合。
优选的，该种骨龄预测方法，其中随机数据增强包括对掌骨图像进行随机中心旋转、对掌骨图像进行随机水平方向平移、对掌骨图像进行随机放大和对掌骨图像进行随机水平翻转，其中：
随机中心旋转的旋转角度范围为【-20°，20°】；
随机水平方向平移的平移范围为掌骨图像的水平宽度的20％；
随机放大的放大倍数范围为【0,0.2】。
优选的，该种骨龄预测方法，其中步骤A3进一步包括：
步骤A31，根据归一化掌骨图像对应的三通道图片灰度值，得到一对应的初始骨龄预测值；
步骤A32，对初始骨龄预测值均进行反归一化处理，得到一对应的反归一化骨龄预测值为最终骨龄预测值；
优选的，该种骨龄预测方法，其中步骤S3进一步包括：
步骤S31，根据每个归一化掌骨图像对应的三通道图片灰度值，分别得到一对应的初始骨龄预测值；
步骤S32，对每个初始骨龄预测值均进行反归一化处理，分别得到一对应的反归一化骨龄预测值；
步骤S33，对每个反归一化骨龄预测值取平均值，平均值记为最终骨龄预测值。
优选的，该种骨龄预测方法，其中损失函数为：
Figure BDA0002351426530000051
其中：
yi为骨龄预测值；
Figure BDA0002351426530000052
为骨龄确定值；
m为预设训练集中经过训练过程的测骨龄用X光图片的数量。
本技术方案具有如下优点及有益效果：
本技术方案通过一全新的注意力机制添加方式，根据骨龄预测模型中不同卷积层信息耦合程度针对性地添加注意力机制，改进了传统注意力机制不易收敛的问题；将性别信息直接加入神经网络模型中进行端对端训练，在优化训练过程的同时进一步提升了骨龄预测的准确性；该种骨龄预测方法使用的骨龄预测模型通过注意力机制可视化验证，反映该模型更加关注于集中呈现患者发育程度的手骨部位，具有良好的预测效果。
附图说明
图1为本发明一种骨龄预测方法中，骨龄预测模型训练过程的流程示意图；
图2为本发明一种骨龄预测方法中，骨龄预测方法的流程示意图；
图3为本发明一种骨龄预测方法中，基于CBAM的骨龄预测模型的训练损失图；
图4为本发明一种骨龄预测方法中，基于跨域注意力骨龄预测模型的训练损失图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
针对现有技术中存在的上述问题，现提供一种骨龄预测方法，具体技术方案如下所示：
一种骨龄预测方法，应用于X光图片骨龄预测，其特征在于，预先通过一预设训练集训练形成一个骨龄预测模型；
预设训练集包括多张测骨龄用X光图片、每张测骨龄用X光图片对应的测试者的性别信息和每张测骨龄用X光图片对应的测试者的骨龄确定值；
骨龄预测模型通过一基准卷积神经网络训练得到，如图1所示，针对骨龄预测模型的训练过程具体包括：
步骤A1，按次序从预设训练集中循环提取一测骨龄用X光图片及对应的性别信息并作为一待训练数据集合；
步骤A2，对待训练数据集合进行预处理，输出相应的待训练参数集合；
步骤A3，将待训练参数集合输入基准卷积神经网络进行前向传播，得到一骨龄预测值；
步骤A4，根据骨龄预测值和对应的骨龄确定值进行误差计算，得到一损失函数；
步骤A5，根据损失函数得到一损失函数梯度，基准卷积神经网络根据损失函数梯度进行反向传播以完成一次训练；
步骤A6，判断损失函数的波动范围是否属于一预设范围：
若否，则返回步骤A1；
若是，则将训练后的基准卷积神经网络作为骨龄预测模型进行输出；
训练形成骨龄预测模型后，将骨龄预测模型应用于骨龄预测方法中，如图2所示，骨龄预测的过程具体包括：
步骤S1，获取待测试者的测骨龄用X光图片和待测试者的性别信息并作为一待预测数据集合；
步骤S2，对待预测数据集合进行预处理，输出相应的待预测参数集合；
步骤S3，将待预测参数集合输入骨龄预测模型，得到一对应的骨龄预测值并输出。
作为优选的实施方式，该种骨龄预测方法，其中基准卷积神经网络包括一特征提取网络和一骨龄计算网络；
特征提取网络用于对待训练参数集合进行特征提取，输出一特征向量；
骨龄计算网络的输入端连接特征计算网络的输出端，用于根据特征向量进行处理，输出骨龄预测值。
在本发明的一较佳实施例中，该种基准卷积神经网络内部包括一特征提取网络和一骨龄计算网络，其中特征提取网络用于根据预处理后的待训练参数集合进行图像的特征提取，输出一特征向量；骨龄计算网络根据特征提取网络得到的特征向量，经过两全连接层输出一骨龄预测值。
作为优选的实施方式，该种骨龄预测方法，其中基准卷积神经网络采用Inception-V3模型实现；
特征提取网络包括十个依次连接的卷积层和一全面池化层；
于特征提取网络中设置一空间域注意力模块，空间域注意力模块的输入端连接第七个卷积层的输出端，空间域注意力模块的输出端连接全面池化层的输入端，空间域注意力模块用于对第七个卷积层输出的第一特征向量进行空间注意力权重添加，并向全面池化层输出一第一加权特征向量；
于特征提取网络中设置一通道域注意力模块，通道域注意力模块的输入端连接第十个卷积层的输出端，通道域注意力模块的输出端连接全面池化层的输入端，通道域注意力模块用于对第十个卷积层输出的第二特征向量进行推导注意力权重添加，并向全面池化层输出一第二加权特征向量；
全面池化层用于根据第一加权特征向量和第二加权特征向量进行全局平均池化，输出特征向量。
在本发明的另一较佳实施例中，对于跨域注意力模型的引入进行进一步的详细阐释和说明：
在现有技术中，主流的注意力模型主要有SENet(Squeeze-and-ExcitationNetworks，简称SENet)以及CBAM(Convloution Block Attention Model，简称CBAM)。SENet将基准模型的每一层输出在通道上建模获得通道注意力权重，将通道注意力权重与原特征相乘获得加入注意力机制的特征。CBAM则除了生成通道注意力权重外，同时生成空间注意力权重，每一层输出特征都需要乘上通道注意力权重以及空间注意力权重，公式如下：
Figure BDA0002351426530000081
Figure BDA0002351426530000082
其中，F代表模型每一层输出特征图，F分别经过AvgPool以及MaxPool对空间域的统计信息进行建模并且压缩特征图为一维向量，再将这两个一维特征进行全连接(Mlp)以及Sigmoid激活函数得到各自对通道域的注意力(此处σ代表Sigmoid激活函数)，最终将它们相加得到最终注意力权重Mc(F)。空间注意力权重计算方法类似，不过池化方法变为通道域的池化，并且全连接改为f7×7即7×7的卷积操作。
虽然CBAM模型将空间注意力机制以及通道注意力机制都考虑在内，并且相较于SENet获得了更好的效果，但是在实际使用中发现，简单地将CBAM模块加入模型每一层后会导致模型过早不收敛问题。原因在于，注意力机制本质是将特征每一位上乘以一个绝对值小于1的掩膜来进行特征选择，而CBAM即加入了通道域注意力又加入了空间域注意力，因此会对特征乘上两次掩膜，使得模型的梯度在反向传播中越来越小，具体公式表达如下：
Figure BDA0002351426530000091
Figure BDA0002351426530000092
其中，k代表模型第k层，
Figure BDA0002351426530000093
代表通道域注意力权重，
Figure BDA0002351426530000094
代表空间域注意力权重，f(xk)表示第k层的卷积操作。前式中
Figure BDA0002351426530000095
代表输入特征，
Figure BDA0002351426530000096
代表最后一层CBAM块输出特征，
Figure BDA0002351426530000097
代表模型最终输出值。每一层的局部梯度都需要乘上两个掩膜的权重，因此会使得梯度越来越小，造成梯度消失问题，使得模型难以收敛。
为了解决这个问题，本发明设计了一种全新的注意力添加方式。考虑到模型浅层特征的通道域信息耦合度较高，在模型浅层加入通道域注意力机制并不能很好地区分特征间相关性细节因此并不能很好地起到关注原图感兴趣区域的作用。同理，若在模型较深层加入空间域注意力机制，由于此时特征图的感受野较大特征像素之间的耦合度较高，加入空间域注意力机制也不能很好地起到关注原图感兴趣区域的作用。因此，本发明在模型较浅层加入空间域注意力机制，模型较深处加入通道域注意力机制，由于相较于CBAM模型本发明在基准网络后只加入一种注意力模块，可以缓解梯度消失问题，有效帮助整个骨龄预测模型进行有效收敛。
于上述较佳实施例中，该种骨龄预测模型依托现有的InceptionV3作为基准卷积网络，该种卷积神经网络包括十层卷积层，依次分别记为Mix1层至Mix10层，其中当Mix7层时，特征图分辨率被降到了最低，因此在此增设一空间域注意力模块，Mix7层的输出端分别连接空间域注意力模块的输入端和Mix8层的输入端，空间域注意力模块对Mix7层输出的第一特征向量进行空间注意力权重添加，并向全面池化层输出一第一加权特征向量；同时将Mix10层作为较深层卷积层，在此增设一通道域注意力模块，用于对第十个卷积层输出的第二特征向量进行推导注意力权重添加，并向全面池化层输出一第二加权特征向量，全面池化层的输入端分别连接空间域注意力模块的输出端和通道域注意力模块的输出端。通过上述注意力模块的添加能够便于模型更好地进行拟合。
特别地，于上述较佳实施例中，为了使得模型对细粒度特征更加敏感，本发明借鉴特征金字塔形结构，使用两个不同层的特征一同预测最终骨龄值，本结构被称为跨域级联：由于骨龄预测任务中，患者的性别信息也是一个影响预测结果的重要因素，于特征提取网络中，将性别信息Fg作为一个二进制数输入特征提取网络的输入端，经过两层全连接层后生成一个24维的特征向量，并将之与前一层卷积网络的输出特征级联得到最终特征向量，因此整个特征提取过程如下式表示：
Figure BDA0002351426530000101
Figure BDA0002351426530000102
Fg_out＝Mlp(Fg)＝(W1(W0(Fg))),Fg∈{0,1}
Fout＝Concat(Fc_out；Fs_out；Fg_out)
其中Fc_out表示通道域注意力机制输出，Fs_out表示空间域注意力输出，Fg_out表示性别特征输出，Fout为最终输出特征向量，
Figure BDA0002351426530000103
为逐元素乘法。空间域注意力权重Ms(F)由该层特征F求得并与改层特征逐元素相乘得到空间域注意力输出，通道域注意力输出类似。
经过大量实验可以证明，加入性别信息后整体骨龄预测模型的预测效果更优，且相较于现有的针对不同患者性别训练不同的预测模型的做法，本发明中采用的端到端训练方法在大幅优化训练过程的同时，并没有降低预测效果。
作为优选的实施方式，该种骨龄预测方法，其中步骤A2进一步包括：
步骤A21，提取待训练数据集合中的测骨龄用X光图片，并对测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤A22，对掌骨图像分别进行随机数据增强；
步骤A23，分别对每个掌骨增强图像进行归一化处理；
步骤A24，获取每个归一化掌骨图像的三通道图片灰度值，三通道图片灰度值的集合包括于待训练参数集合。
作为优选的实施方式，该种骨龄预测方法，其中步骤S2进一步包括：
步骤S21，提取待预测数据集合中的测骨龄用X光图片，并对测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤S22，对掌骨图像分别进行三次随机数据增强，得到对应的三个掌骨增强图像；
步骤S23，分别对每个掌骨增强图像进行归一化处理，得到对应的三个归一化掌骨图像；
步骤S24，获取每个归一化掌骨图像的三通道图片灰度值，三通道图片灰度值的集合包括于待预测参数集合。
作为优选的实施方式，该种骨龄预测方法，其中随机数据增强包括对掌骨图像进行随机中心旋转、对掌骨图像进行随机水平方向平移、对掌骨图像进行随机放大和对掌骨图像进行随机水平翻转，其中：
随机中心旋转的旋转角度范围为【-20°，20°】；
随机水平方向平移的平移范围为掌骨图像的水平宽度的20％；
随机放大的放大倍数范围为【0,0.2】。
在本发明的另一较佳实施例中，对于待训练数据集合的预处理进行了进一步说明和限定：对于得到的测骨龄用X光图片，需要先行对该X光图片进行图像提取，将X光图片中的掌骨图像提取出来；针对提取后的掌骨图像，需要进行三次随机的数据增强以防止该种骨龄预测模型过度拟合；同样地，当使用该种骨龄预测模型对新患者进行骨龄预测时同样需要经历上述图像增强及归一化步骤。
作为优选的实施方式，该种骨龄预测方法，其中步骤A3进一步包括：
步骤A31，根据归一化掌骨图像对应的三通道图片灰度值，分别得到一对应的初始骨龄预测值；
步骤A32，对初始骨龄预测值均进行反归一化处理，得到一对应的反归一化骨龄预测值为最终骨龄预测值；
作为优选的实施方式，该种骨龄预测方法，其中步骤S3进一步包括：
步骤S31，根据每个归一化掌骨图像对应的三通道图片灰度值，分别得到一对应的初始骨龄预测值；
步骤S32，对每个初始骨龄预测值均进行反归一化处理，分别得到一对应的反归一化骨龄预测值；
步骤S33，对每个反归一化骨龄预测值取平均值，平均值作为最终骨龄预测值。
作为优选的实施方式，该种骨龄预测方法，其中损失函数为：
Figure BDA0002351426530000121
其中：
yi为骨龄预测值；
Figure BDA0002351426530000122
为骨龄确定值；
m为预设训练集中经过训练过程的测骨龄用X光图片的数量。
在本发明的另一较佳实施例中，由于骨龄预测属于典型的回归问题，该种骨龄预测方法中直接采用平均绝对误差来作为损失函数。此处选用平均绝对误差作为评价指标，相较于均方绝对误差来说其对离群点不敏感，也能够更直观反映回归模型训练效果，更适合作为评价指标。
现提供一具体实施例对本技术方案进行进一步展示和说明：
在本发明的具体实施例中，该种骨龄预测方法应用一特制的骨龄预测模型进行骨龄预测，
于上述具体实施例中，采用的预设训练集为RSNA2017骨龄预测竞赛数据集，包括一万两千张png格式的欧美青少年手掌骨X光照片以及相应骨龄标签，骨龄以月为单位；由于该数据集不同年龄段数据差别较大，可能导致类别不平衡问题，于本具体实施例中，将数据集按年龄段分成十组，将少于700张图片的组过采样至700张，使得各个年龄段之间数据量尽量相同，最后从中选取2000张图片作为验证集，200图片作为测试集，其余作为训练集。
于上述具体实施例中，对训练过程中的训练和参数进行如下设置：
模型损失函数为平均平方误差，指标为平均绝对误差；
优化方法采用Adam优化器，beta1为0.9，beta2为0.999，初始学习率取0.0001；学习率在验证集损失长时间稳定不降后进行相应衰减，观察范围为10个epoch，衰减系数为0.8；
正则化方法采用随机失活，系数为0.5；同时提早结束算法，且不使用权重惩罚；归一化方法统一使用批量归一化；
训练采用Mini-Batch方式进行，Batch大小为15。
于上述具体实施例中，为通过比较呈现本技术方案的有益效果，选择RSNA2017骨龄预测竞赛冠军模型进行对比：该模型根据其团队博客内容实现，该模型同样采用InceptionV3作为基准卷积模型，骨龄回归层前特征并不进行全局均值池化而是直接拉平：
如图3-4所示，图3给出了基于CBAM的骨龄预测模型的训练损失图，二图4给出了本技术方案中骨龄预测模型的训练损失图，可以看到：直接基于CBAM的骨龄模型在10个Epoch个后就无法收敛；而本技术方案中所采用的模型稳定收敛，在120个Epoch后训练完成。
于上述具体实施例中，通过注意力可视化能够观察到，本模型注意力主要关注掌骨区域以及指骨骨化中心区域，这符合传统骨龄预测方法的重点关注区域，证明本技术方案的预测有效性。
综上所述，本技术方案通过一全新的注意力机制添加方式，根据骨龄预测模型中不同卷积层信息耦合程度针对性地添加注意力机制，改进了传统注意力机制不易收敛的问题；将性别信息直接加入神经网络模型中进行端对端训练，在优化训练过程的同时进一步提升了骨龄预测的准确性；该种骨龄预测方法使用的骨龄预测模型通过注意力机制可视化验证，反映该模型更加关注于集中呈现患者发育程度的手骨部位，具有良好的预测效果。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种骨龄预测方法，应用于X光图片骨龄预测，其特征在于，预先通过一预设训练集训练形成一个骨龄预测模型；
所述预设训练集包括多张测骨龄用X光图片、每张所述测骨龄用X光图片对应的测试者的性别信息和每张所述测骨龄用X光图片对应的测试者的骨龄确定值；
所述骨龄预测模型通过一基准卷积神经网络训练得到，针对所述骨龄预测模型的训练过程具体包括：
步骤A1，按次序从所述预设训练集中循环提取一所述测骨龄用X光图片及对应的所述性别信息并作为一待训练数据集合；
步骤A2，对所述待训练数据集合进行预处理，输出相应的待训练参数集合；
步骤A3，将所述待训练参数集合输入所述基准卷积神经网络进行前向传播，得到一骨龄预测值；
步骤A4，根据所述骨龄预测值和对应的所述骨龄确定值进行误差计算，得到一损失函数；
步骤A5，根据所述损失函数得到一损失函数梯度，所述基准卷积神经网络根据所述损失函数梯度进行反向传播以完成一次训练；
步骤A6，判断所述损失函数的波动范围是否属于一预设范围：
若否，则返回所述步骤A1；
若是，则将训练后的所述基准卷积神经网络作为所述骨龄预测模型进行输出；
训练形成所述骨龄预测模型后，将所述骨龄预测模型应用于所述骨龄预测方法中，所述骨龄预测的过程具体包括：
步骤S1，获取所述待测试者的所述测骨龄用X光图片和所述待测试者的性别信息并作为一待预测数据集合；
步骤S2，对所述待预测数据集合进行所述预处理，输出相应的待预测参数集合；
步骤S3，将所述待预测参数集合输入所述骨龄预测模型，得到一对应的所述骨龄预测值并输出。
2.如权利要求1所述的骨龄预测方法，其特征在于，所述基准卷积神经网络包括一特征提取网络和一骨龄计算网络；
所述特征提取网络用于对所述待训练参数集合进行特征提取，输出一特征向量；
所述骨龄计算网络的输入端连接所述特征提取网络的输出端，用于根据所述特征向量进行处理，输出所述骨龄预测值。
3.如权利要求2所述的骨龄预测方法，其特征在于，所述基准卷积神经网络采用Inception-V3模型实现；
所述特征提取网络包括十个依次连接的卷积层和一全面池化层；
于所述特征提取网络中设置一空间域注意力模块，所述空间域注意力模块的输入端连接第七个所述卷积层的输出端，所述空间域注意力模块的输出端连接所述全面池化层的输入端，所述空间域注意力模块用于对第七个所述卷积层输出的第一特征向量进行空间注意力权重添加，并向所述全面池化层输出一第一加权特征向量；
于所述特征提取网络中设置一通道域注意力模块，所述通道域注意力模块的输入端连接第十个所述卷积层的输出端，所述通道域注意力模块的输出端连接所述全面池化层的输入端，所述通道域注意力模块用于对第十个所述卷积层输出的第二特征向量进行推导注意力权重添加，并向所述全面池化层输出一第二加权特征向量；
所述全面池化层用于对所述第一加权特征向量和所述第二加权特征向量进行全局平均池化，输出所述特征向量。
4.如权利要求1所述的骨龄预测方法，其特征在于，所述步骤A2进一步包括：
步骤A21，提取所述待训练数据集合中的所述测骨龄用X光图片，并对所述测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤A22，对所述掌骨图像分别进行随机数据增强，得到对应的掌骨增强图像；
步骤A23，分别对每个所述掌骨增强图像进行归一化处理，得到对应的归一化掌骨图像；
步骤A24，获取每个所述归一化掌骨图像的三通道图片灰度值，所述三通道图片灰度值的集合包括于所述待训练参数集合。
5.如权利要求1所述的骨龄预测方法，其特征在于，所述步骤S2进一步包括：
步骤S21，提取所述待预测数据集合中的所述测骨龄用X光图片，并对所述测骨龄用X光图片进行掌骨图像分割，得到一掌骨图像；
步骤S22，对所述掌骨图像分别进行三次随机数据增强，得到对应的三个掌骨增强图像；
步骤S23，分别对每个所述掌骨增强图像进行归一化处理，得到对应的三个归一化掌骨图像；
步骤S24，获取每个所述归一化掌骨图像的三通道图片灰度值，所述三通道图片灰度值的集合包括于所述待预测参数集合。
6.如所述权利要求4和5中任意一项所述的骨龄预测方法，其特征在于，所述随机数据增强包括对所述掌骨图像进行随机中心旋转、对所述掌骨图像进行随机水平方向平移、对所述掌骨图像进行随机放大和对所述掌骨图像进行随机水平翻转，其中：
所述随机中心旋转的旋转角度范围为【-20°，20°】；
所述随机水平方向平移的平移范围为所述掌骨图像的水平宽度的20％；
所述随机放大的放大倍数范围为【0,0.2】。
7.如权利要求4所述的骨龄预测方法，其特征在于，所述步骤A3进一步包括：
步骤A31，根据所述归一化掌骨图像对应的所述三通道图片灰度值，得到一对应的初始骨龄预测值；
步骤A32，对所述初始骨龄预测值均进行反归一化处理，得到一对应的反归一化骨龄值为所述最终骨龄预测值。
8.如权利要求5所述的骨龄预测方法，其特征在于，所述步骤S3进一步包括：
步骤S31，根据每个所述归一化掌骨图像对应的所述三通道图片灰度值，分别得到一对应的初始骨龄预测值；
步骤S32，对每个所述初始骨龄预测值均进行反归一化处理，分别得到一对应的反归一化骨龄预测值；
步骤S33，对所有所述反归一化骨龄预测值取平均值，所述平均值记为所述最终骨龄预测值。
9.如权利要求1所述的骨龄预测方法，其特征在于，所述损失函数为：
Figure FDA0002351426520000041
其中：
yi为所述骨龄预测值；
Figure FDA0002351426520000042
为所述骨龄确定值；
m为所述预设训练集中经过所述训练过程的所述测骨龄用X光图片的数量。
CN201911416919.8A 2019-12-31 2019-12-31 一种骨龄预测方法 Pending CN111161254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416919.8A CN111161254A (zh) 2019-12-31 2019-12-31 一种骨龄预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416919.8A CN111161254A (zh) 2019-12-31 2019-12-31 一种骨龄预测方法

Publications (1)

Publication Number Publication Date
CN111161254A true CN111161254A (zh) 2020-05-15

Family

ID=70560201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416919.8A Pending CN111161254A (zh) 2019-12-31 2019-12-31 一种骨龄预测方法

Country Status (1)

Country Link
CN (1) CN111161254A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006654A (zh) * 2020-07-16 2020-12-01 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN112102285A (zh) * 2020-09-14 2020-12-18 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112132788A (zh) * 2020-08-29 2020-12-25 浙江工业大学 一种基于特征区域等级识别的骨龄评估方法
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112785559A (zh) * 2021-01-05 2021-05-11 四川大学 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN112907537A (zh) * 2021-02-20 2021-06-04 司法鉴定科学研究院 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法
CN113298780A (zh) * 2021-05-24 2021-08-24 云南大学 一种基于深度学习的儿童骨龄评估方法及系统
CN113314222A (zh) * 2021-03-30 2021-08-27 零氪智慧医疗科技(天津)有限公司 适用于肿瘤患者的骨髓抑制风险预测方法、装置及存储介质
CN113362292A (zh) * 2021-05-27 2021-09-07 重庆邮电大学 一种基于可编程逻辑门阵列的骨龄评估方法及系统
CN114549470A (zh) * 2022-02-23 2022-05-27 合肥工业大学 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006654A (zh) * 2020-07-16 2020-12-01 中国科学技术大学 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
CN112132788A (zh) * 2020-08-29 2020-12-25 浙江工业大学 一种基于特征区域等级识别的骨龄评估方法
CN112132788B (zh) * 2020-08-29 2024-04-16 浙江工业大学 一种基于特征区域等级识别的骨龄评估方法
CN112102285A (zh) * 2020-09-14 2020-12-18 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112102285B (zh) * 2020-09-14 2024-03-12 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112785559A (zh) * 2021-01-05 2021-05-11 四川大学 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN112907537A (zh) * 2021-02-20 2021-06-04 司法鉴定科学研究院 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法
CN113314222A (zh) * 2021-03-30 2021-08-27 零氪智慧医疗科技(天津)有限公司 适用于肿瘤患者的骨髓抑制风险预测方法、装置及存储介质
CN113298780B (zh) * 2021-05-24 2023-09-12 云南大学 一种基于深度学习的儿童骨龄评估方法及系统
CN113298780A (zh) * 2021-05-24 2021-08-24 云南大学 一种基于深度学习的儿童骨龄评估方法及系统
CN113362292B (zh) * 2021-05-27 2023-04-28 重庆邮电大学 一种基于可编程逻辑门阵列的骨龄评估方法及系统
CN113362292A (zh) * 2021-05-27 2021-09-07 重庆邮电大学 一种基于可编程逻辑门阵列的骨龄评估方法及系统
CN114549470A (zh) * 2022-02-23 2022-05-27 合肥工业大学 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN114549470B (zh) * 2022-02-23 2024-03-05 合肥工业大学 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统

Similar Documents

Publication Publication Date Title
CN111161254A (zh) 一种骨龄预测方法
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
Lv et al. Attention guided U-Net with atrous convolution for accurate retinal vessels segmentation
CN110232678B (zh) 一种图像不确定度预测方法、装置、设备及存储介质
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
Liu et al. Co-correcting: noise-tolerant medical image classification via mutual label correction
CN111401219B (zh) 一种手掌关键点检测方法和装置
Zhang et al. Triplet attention and dual-pool contrastive learning for clinic-driven multi-label medical image classification
CN114494263B (zh) 融合临床信息的医学影像病变检测方法、系统及设备
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
Singh et al. Optimized convolutional neural network for glaucoma detection with improved optic-cup segmentation
Mondal et al. Adaptive local ternary pattern on parameter optimized-faster region convolutional neural network for pulmonary emphysema diagnosis
Lu et al. PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
Liu et al. Research on Deep Learning Model of Feature Extraction Based on Convolutional Neural Network
Zeng et al. Progressive feature fusion attention dense network for speckle noise removal in OCT images
Eun et al. A study on the optimal artificial intelligence model for determination of urolithiasis
Wang et al. SURVS: A Swin-Unet and game theory-based unsupervised segmentation method for retinal vessel
Ni et al. FSE-Net: Rethinking the up-sampling operation in encoder-decoder structure for retinal vessel segmentation
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113592008A (zh) 一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质
Hu et al. A dual-stage pseudo-labeling method for the diagnosis of mental disorder on MRI scans
Jin et al. Density-based one-shot active learning for image segmentation
CN116452812A (zh) 一种伪装物体识别及语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination