CN111080579A - 基于深度学习实现图像分割和分类的骨龄评估方法 - Google Patents

Abstract

本发明公开一种基于深度学习实现图像分割和分类的骨龄评估方法。本发明包含以下步骤：1、使用数字图像处理方法对数据集进行处理，得到更高质量的样本数据；2、手动标记部分手骨图像，利用这部分图像来训练图像分割网络U‑Net，然后，使用训练好的U‑Net对数据集进行分割，得到去除背景后的数据集，并按照一定比例制作成训练集、验证集和测试集；3、利用处理好的数据集对改进的图像分类网络VGG16进行训练；4、利用测试集对训练好的模型进行测试并对结果进行评价。本发明提出的改进方法与原始骨龄评估方法相比，有效地提高了模型对手骨图像评估的准确率，同时有着更高的效率。

Description

基于深度学习实现图像分割和分类的骨龄评估方法

技术领域

本发明涉及医学影像智能诊断技术领域，尤其涉及X射线图像目标自动分割与识别、骨龄评估方法领域，具体涉及一种基于深度学习实现图像分割和分类的全自动骨龄评估方法。

背景技术

骨龄表示了某一年龄为特点的儿童生长发育的水平，它与个体的身体发育成熟度之间表现出完全一致的关系，是评价个体生长发育最为可靠的指标。骨龄评估是研究青少年儿童内分泌、遗传和生长障碍常用的一种临床方法。骨龄评估在青少年发育状况和预测、计划生育、体育界选拔人才、疾病的发现和预防等领域有着很广的应用。目前对于手骨骨龄评定，国际上认可的评定方法包括Greulich-Pyle(GP)和Tanner-Whitehouse(TW)。GP法将手的整体视觉外观与标准骨龄图进行比较得出骨龄预测值。TW方法考虑手和手腕中的20个感兴趣区域(ROI)，并为每个感兴趣区域分配骨骼成熟度的离散阶段，每个阶段都对应根据种族和性别不同而变化的分数，最后，根据计分表将所有分数的总和转换为骨龄估计。GP和TW都比较耗时，而且这两种方法都是高度主观的，极其依赖于从业者的经验，通常需要骨龄评估方面的专家。

深度学习作为机器学习研究中的一项新技术，通过学习一个深度非线性网络结构，可以刻画输入数据的特征，实现复杂函数的逼近。在骨龄自动评估领域，深度学习技术已经取得了超越现有技术的成果。lee等人使用了11000多张手部x光图像，然后初始化googlenet网络，通过对imagenet初始训练参数的微调学习，获得了较好的预测效果。Spampinato等人提出了针对自动骨龄评估的卷积神经网络Bonet由五个卷积层和池化层组成，实验结果显示与人工读片得出的骨龄相差不多。然而，大多数研究并没有考虑到除了手骨之外的其他对象(例如，X射线标签和注释标记)也存在于X射线图像中的问题。显然，这些物体充当噪声，将网络分散到图像的其他不重要区域。

发明内容

为了能够快速准确的实现对骨龄的评估，本发明提出了一种基于深度学习的骨龄评估方法。首先对原始数据集进行处理，得到更高质量的图像样本；然后，利用U-Net来获取手骨的掩模图像，将获得的掩模图像与原始图像进行对比得到去除背景后的手骨图像数据集，并按照一定比例将数据集制作成训练集、验证集和测试集；然后利用训练集的数据对改进的VGG16算法进行训练；最后利用测试集对训练得到的模型进行测试，并对结果进行评价。

本发明方法主要包括以下步骤：

(1)采用数字图像处理方法对原始的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括对原始样本进行直方图均衡、高斯滤波、幂律变换和锐化；

(2)选取1000张原始样本图像进行标记，得到手骨部分的掩模，将这部分图像作为分割数据集(训练集包括800张图像，验证集包括200张图像)用来训练U-Net网络模型；用训练好的U-Net模型对原始数据集进行分割，得到手掌分割结果；使用形态学方法对手掌分割结果进行后处理，将一些较小的连通域剔除，仅保留最大连通域；

(3)将得到的手掌分割数据集制作成训练集、验证集和测试集；使用制作好的训练集对改进的VGG16算法进行训练；

改进的VGG16算法如下：

改进后的VGG16网络结构包含17个卷积层、1个BN层、2个全局平均池化层、1个Multiply层、1个Lambda层、2个Dropout层和2个全连接层；其中前13个卷积层来自VGG16，将这部分卷积层当作特征提取器，提取的特征图大小为12×12×512，后面4个卷积层所包含的卷积核的数量依次为64、8、1和512，在这两个卷积块之间，加入BN层，对提取的特征进行归一化处理；

BN层对于每个隐层神经元，把逐渐向非线性函数隐射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的标准正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域；BN层对一个batch-size中特征图的每个通道上计算平均值和方差，计算公式如下：

x_i表示第i个特征图，m表示一个batch-size的大小，μ_β表示一个batch-size中所有特征图的平均值，

表示所有特征图的方差；

接着对特征图进行归一化处理，归一化公式为：

表示归一化后的输入，其均值为0，标准差为1；ε是为了防止分母为0而引入的一个很小的正数。为了防止网络学习到的特征被破坏，BN层引入了可学习参数γ和β，用来调节非线性函数和线性函数之间的平衡，公式如下所示：

γ和β表示两个可学习参数，其训练算法为BP算法，y_i为调整之后的输入。

4个卷积层连接在BN层之后，用1×1的卷积核对经过BN层归一化后的特征图做特征提取，特征图维度依次变为12×12×64、12×12×8、12×12×1和12×12×512；先降维，再将维度扩展为与BN层输出特征图的维度相同，通过Multiply层将两个特征图做点积，这个过程是一个加权求和过程，将其视为一种“注意力机制”，两个特征图点积公式如下：

X＝f_m·f_n (5)

f_m表示BN层输出的特征图，f_n表示注意力模块输出的特征图，二者维度均为12×12×512，X表示二者点积后的特征图；

利用改进的网络结构训练至模型收敛；

(4)利用训练得到的模型对测试集进行测试，并利用MAE对所得结果进行评价；其中MAE即Mean Absolute Error；

平均绝对误差的定义：

f_i表示骨龄真实值，f_r表示骨龄预测值，N表示样本数量；

本发明与已有的骨龄评估方法相比，具有如下特点：采用深度学习图像分类算法，能够更充分的利用图像数据的深层特征，模型具有更强的泛化能力。改进的VGG16算法更加关注手骨的重要区域，降低了评估误差，加快了模型的识别速率。

附图说明

图1为本发明实施的流程图；

图2为U-Net网络结构图；

图3为分割效果示意图；

图4为改进的VGG16网络结构示意图；

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体操作过程。

如图1所示，本实施例包括如下步骤：

步骤1，利用数字图像处理方法对样本数据进行预处理。数据集来自RSNA竞赛，包含12611张图像样本，其中包括5778个女性和6833个男性图像，骨龄分布为1-228个月。数据集中的图像存在一定的噪声和背景干扰，且灰度分布不均，需要进行图像预处理，主要有四步：1)利用高斯滤波，去除图像中存在的噪声；2)对图像进直方图均衡化，提升图像的对比度，使手骨部分特征更加明显；3)使用Laplace算子对图像进行锐化，提升边缘信息；4)对整幅图像进行幂律变换，调整图像的亮度。

步骤2，在原始数据集中随机选取1000张图像进行手骨区域标记，得到1000张手骨区域标记图像，即手骨的掩模，将这1000张图像制作成分割数据集，其中800张作为训练集，200张作为验证集；利用分割数据集对U-Net网络进行训练，U-Net网络结构如图2所示；随后，用训练好的U-Net模型对原始数据集进行分割，得到全部数据的手骨掩模图像；利用图像形态学方法，对掩模图像进行处理，保留图像的最大连通域，剔除一些较小的连通域，分割效果如图3所示；将掩模图像与原始图像进行比对，得到去除背景干扰后的手骨图像数据集；将去除背景后的数据集60％作为训练集，20％作为验证集，20％作为测试集。

步骤3，改进后的VGG16网络结构如图4所示，与原始VGG16相比，我们去掉了原始的3个全连接层，仅保留13个卷积层最为特征提取器；添加了1个BN层和4个卷积层(4个卷积层维度分别为12×12×64,12×12×8,12×12×1和12×12×512)，利用添加的Multiply层对BN层的输出和4个卷积层的输出做点积，这是一个“加权求和”的过程，我们将其视作一种“注意力机制”；此外还添加了2个全局平均池化层，1个Lambda层，Lambda层对2个全局平均池化层输出的特征图进行了融合。用原始数据集和去除背景后的数据集分别对原始VGG16和改进后的VGG16进行训练，观察训练过程中的验证集的误差以及训练的损失值，等到验证集的误差以及训练的损失值趋于稳定，即表示模型已经收敛，保存模型，停止训练。

步骤4，用测试集对分别对使用原始数据集训练的原始VGG16(称其为OriginalVGG16)、使用去除背景后的训练集训练的原始VGG16(称其为Advanced VGG16)和使用去除背景后的训练集训练的改进VGG16(称其为Best VGG16)进行测试，并对结果进行比较和评价。

表1测试结果

表1记录了不同模型和不同训练数据所得到的不同结果，可以看出，当使用去除背景后的数据作为训练集后，原始VGG16的结果得到了提升，这说明掩模生成网络能够从图像中很好的提取手部掩模，增加了年龄评估方法的准确性，在此基础上，对VGG16的改进也降低了年龄评估的误差，这表明我们的改进是有效的，我们构建的“注意力机制”能够帮助网络更好的关注手骨的重要区域。

因此，本发明不仅降低了骨龄评估的误差，而且避免了人工读片的繁琐和主观性，大大提升了骨龄评估的效率，表明本发明在骨龄评估中具有更大的优势。

Claims (1)

1.基于深度学习实现图像分割和分类的骨龄评估方法，其特征在于，该方法具体包括如下步骤：

(1)采用数字图像处理方法对原始的手骨图像样本进行增强，得到整幅手骨X线片样本图像；所述增强包括对原始样本进行直方图均衡、高斯滤波、幂律变换和锐化；

(2)选取一定数量的原始样本图像进行标记，得到手骨部分的掩模，将这部分图像作为分割数据集用来训练U-Net网络模型，分割数据集包括训练集和验证集；用训练好的U-Net模型对原始数据集进行分割，得到手掌分割结果；使用形态学方法对手掌分割结果进行后处理，将一些较小的连通域剔除，仅保留最大连通域；

(3)将得到的手掌分割数据集制作成训练集、验证集和测试集；使用制作好的训练集对改进的VGG16算法进行训练；

改进的VGG16算法如下：

改进后的VGG16网络结构包含17个卷积层、1个BN层、2个全局平均池化层、1个Multiply层、1个Lambda层、2个Dropout层和2个全连接层；其中前13个卷积层来自VGG16，将这部分卷积层当作特征提取器，提取的特征图大小为12×12×512，后四个卷积层所包含的卷积核的数量依次为64、8、1和512，在这两个卷积块之间，加入BN层，对提取的特征进行归一化处理；

BN层对一个batch-size中特征图的每个通道上计算平均值和方差，计算公式如下：

x_i表示第i个特征图，m表示一个batch-size的大小，μ_β表示一个batch-size中所有特征图的平均值，

表示所有特征图的方差；

接着对特征图进行归一化处理，归一化公式为：

表示归一化后的输入，其均值为0，标准差为1；ε是为了防止分母为0而引入的一个很小的正数；为了防止网络学习到的特征被破坏，BN层引入了可学习参数γ和β，用来调节非线性函数和线性函数之间的平衡，公式如下所示：

γ和β表示两个可学习参数，其训练算法为BP算法,y_i表示调整后的输入；

4个卷积层连接在BN层之后用1×1的卷积核对经过BN层归一化后的特征图做特征提取，特征图维度依次变为12×12×64、12×12×8、12×12×1和12×12×512；先降维，再将维度扩展为与BN层输出特征图的维度相同，通过Multiply层将BN层输出的特征图和后面4个卷积层输出的特征图做点积，这个过程是一个加权求和过程，将其视为一种“注意力机制”，两个特征图点积公式如下：

X＝f_m·f_n (5)

f_m表示BN层输出的特征图，f_n表示后面4个卷积层输出的特征图，二者维度均为12×12×512，X表示二者点积后的特征图；

利用改进的网络结构训练至模型收敛；

(4)利用训练得到的模型对测试集进行测试，并利用MAE对所得结果进行评价；其中MAE即Mean Absolute Error；

平均绝对误差的定义：

f_i表示骨龄真实值，f_r表示骨龄预测值，N表示样本数量。

Images