CN109345508B - 一种基于两阶段神经网络的骨龄评价方法 - Google Patents

Abstract

本发明提供一种基于两阶段神经网络的骨龄评价方法，步骤如下：一：调整原始输入手骨图像大小为512×512，即按比例缩放，并添加边缘信息；二：图像掩模提取；三：生成训练图像；四：对步骤三中生成的图像分别计算二维单尺度小波变换与Canny算子边缘提取，与直方图均衡后的图像共同组成输入样本的三通道；五：对步骤四中生成的三通道图像进行数据增强，扩充数据集大小；六：骨龄预测；通过以上步骤，本检测方法结合图像分割和骨龄预测，能够较好地抑制噪音，比较准确地分割出手骨区域，从而进行骨龄评价；对于其他图像处理领域如目标分割、目标检索、目标回归预测等都有实际应用价值。

Description

一种基于两阶段神经网络的骨龄评价方法

(一)技术领域

本发明涉及一种基于两阶段神经网络的骨龄评价方法，属于计算机视觉和数字图像处理领域。在目标分割、目标识别等领域中有广阔的应用前景。

(二)背景技术

儿童和青少年的骨龄评价广泛用于临床，法律和运动医学领域。临床上，手部的X射线影像通常用于评价个体的成熟度。目前，骨龄评价主要由经过培训的放射科医师手动进行，他们根据图谱法(Greulich-Pyle，GP)或计分法(Tanner-Whitehouse，TW)手动评价X射线影像中的手骨发育情况。GP通过比较手部X射线影像与由来自不同年龄段的受试者的参考图像组成的图谱来评价骨龄。TW方法考虑一组特定的感兴趣区域(Region ofInterest,ROI)，每个感兴趣区域的发育被分成不同的阶段，并且每个阶段被给予根据种族和性别而变化的数字分数的字母。可以通过添加所有ROI的分数来计算总体骨骼成熟度分数。手动评价相对繁琐的，并且观察者间的评价结果可能差异较大。因此迫切需要自动骨龄评价系统。

许多经典的计算机视觉和图像处理技术已应用于骨龄的自动评价。然而，目前自动骨龄评价系统主要存在评价精度低，实验样本少，可评价的年龄范围小的缺点。并且模型较差的泛化问题阻止了所有这些方法取得令人满意的结果。2009年，丹麦Thodberg等人提出了一种自动骨龄评估系统BoneXpert，它通过TW和GP方法的统一模型进行自动骨龄评价。然而，BoneXpert需要高质量的X射线扫描才能获得可靠的结果。它们都通过提取TW或GP临床方法中常用的骨的特征来评价骨龄，从而使用高级(即，直接来自人类知识)视觉描述符来限制低水平(即机器学习和计算机视觉)方法。这种语义差距通常会限制设计解决方案的泛化能力。

作为机器学习研究的一项新技术，深度学习可以通过学习深度非线性网络结构来表征输入数据并实现复杂的函数逼近。由于深度学习技术在一般图像分类中的成功，研究人员已经探索了这种分析方法在医学图像数据的应用。在大多数这些应用中，卷积神经网络取得了超越现有技术的结果。在骨龄自动评价领域，韩国Lee等人使用了超过11,000个手部X射线图像，然后初始化了GoogleNet网络，通过ImageNet初始训练的参数进行了微调获得更好的预测结果。意大利Spampinato等提出了BoNet，它由五个卷积和全连接层组成。

以往的骨龄评价方法通常存在模型泛化能力差，评价精度较低的缺点。本发明提出了一种高效的手骨分割方法，并考虑骨龄标签的序数回归特征，提出基于多输出神经网络来估计骨龄。

(三)发明内容

(1)本发明的目的

本发明提出了一种高效的手骨分割方法，并考虑骨龄标签的序数回归特征，提出基于多输出神经网络估计骨龄。

由于注释标记的存在以及输入图像在灰度和对比度的巨大差异，我们期望从输入图像分割手和手腕以减少噪音对特征学习的影响。大多数骨龄评价方法是端到端的，因此它们没有预处理部分。然而，传统的图像处理方法对输入图像不能取得较好的分割效果。我们考虑使用U-Net全卷积神经网络，它通常用于医学分割领域。考虑到较小的训练数据集，我们使用预训练的VGG16作为U-Net的编码器来提高分割精度并防止过度拟合。随后，使用标准化过程处理网络输出的图像掩模。

大多数现有方法将骨龄估计建模为回归问题。但由于骨骼的发育是连续和渐进的，随机过程导致骨骼年龄增长，这是非平稳的。此外，回归模型容易受到异常值的影响。因此，使用传统的回归方法学习骨化过程相对困难。考虑到骨龄标签的相对顺序，我们可以将骨龄评价作为序数回归问题。将序数回归问题转换为多个二分类子问题。

(2)技术方案

本发明一种基于两阶段神经网络的骨龄评价方法，其具体实施步骤如下：

步骤一：调整原始输入手骨图像大小为512×512，即按比例缩放，并添加边缘信息；

步骤二：图像掩模提取；针对后续步骤，首先，搭建预训练全卷积分割网络；随后手动选取100张手骨X光影像，手动提取掩模，将其作为训练样本，通过最小化损失函数J(w)训练分割网络；最后使用训练好的分割网络提取全部输入图像的掩模；

式中：y_n是对应像素的二进制值(标签)，

是像素的预测概率，N是总像素数；

其中，在步骤二中所述的“搭建预训练全卷积分割网络”，其作法如下：构建U-Net神经网络，将其编码器部分拆离，使用VGG16网络作为其编码器，使用ImageNet预训练权重初始化编码器部分权重；

步骤三：生成训练图像；首先使用形态学方法批处理步骤二分割出的图像掩模；计算输入图像与掩模融合后的手骨图像；最后对融合后的图像计算其直方图均衡化的图像；

其中，在步骤三中所述的“形态学方法”，其作法如下：首先使用开运算即先腐蚀后膨胀，消除小物体，在纤细点处分离物体，并且平滑较大物体的边界；再者，漫水填充方法填充掩模目标区域孔洞；最后寻找掩模面积最大的轮廓作为手骨图像的掩模；

其中，在步骤三中所述的“计算输入图像与掩模融合后的手骨图像；最后对融合后的图像计算其直方图均衡化的图像”，其作法如下：

将原始图像与掩模逐像素相乘获得融合后手骨图像，

I_m(x,y)＝I(x,y)×M(x,y)

式中，I为原始图像，M为掩模，I_m融合后图像。

对融合后的图像进行直方图均衡，即对原始图像的像素灰度做某种映射变换,使变换后图像灰度的概率密度呈均匀分布，

式中，r代表图像中像素灰度级，0≤r≤1，n是图像中像素点总数，k是灰度级数；

步骤四：对步骤三中生成的图像分别计算二维单尺度小波变换与Canny算子边缘提取，与直方图均衡后的图像共同组成输入样本的三通道；

其中，在步骤四中所述的“对步骤三中生成的图像分别计算二维单尺度小波变换与Canny算子边缘提取，与直方图均衡后的图像共同组成输入样本的三通道”，其作法如下：

首先，对图像进行图像的二维离散小波分解，获得图像在水平方向上的低频和垂直方向上的高频LH、水平方向上的高频和垂直方向上的低频HL，对LH和HL计算平方和后开平方，由于图像尺度上差异，随后将该图像拉伸为原图像2倍，插值方式为最近邻插值，即得到图像二维单尺度小波变换结果；

然后，对图像进行Canny算子边缘提取，包括：用高斯滤波器平滑图像；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值应用非极大值抑制；用双阈值方法检测和连接边缘；

最后，将步骤三得到的图像作为输入样本的第一通道，二维单尺度小波变换结果作为第二通道，Canny算子边缘提取作为第三通道针对后续步骤；

步骤五：对步骤四中生成的三通道图像进行数据增强，扩充数据集大小；

其中，在步骤五中所述的“对步骤四中生成的三通道图像进行数据增强，扩充数据集大小”，其作法如下：使用深度学习框架Keras中ImageDataGenerator函数进行数据增强，设置数据提升时图片随机转动的角度为0至10度，图片水平偏移的幅度为0至0.1倍图片宽度，图片垂直偏移的幅度为0至0.1倍图片高度，图片缩放幅度为1-1.15倍，图片可随机水平翻转；

步骤六：骨龄预测。首先搭建多输出骨龄预测网络；随后选择11000张手骨X光影像作为训练图像，1000幅手骨X光影像作为测试图像，训练预测网络；最后使用训练好的网络评价骨龄；评价指标为平均绝对误差MAE，

式中，N代表输入样本数量，y_i代表预测骨龄，x_i代表实际骨龄；

其中，在步骤六中所述的“搭建多输出骨龄预测网络”，其作法如下：

使用VGG16网络卷积层提取输入图像的特征，然后接入两个1024个神经元的全连接层，连接层后输出227个二元分类器，第k个分类器判断输入图像的年龄是否大于k个月，满足为1，不满足为0；预测年龄为所有的二元分类器判断结果之和加1，损失函数为对每个二元分类器计算交叉损失熵，并计算每个类别的权重，权重函数如下，

式中，λ_k代表第k个年龄段分类器的重要性，N_k为第k个分类器的样本数，K为228个年龄段；

最后通过最小化损失函数，得到最终的预测骨龄。

通过以上步骤，本检测方法结合图像分割和骨龄预测，能够较好地抑制噪音，比较准确地分割出手骨区域，从而进行骨龄评价；对于其他图像处理领域如目标分割、目标检索、目标回归预测等都有实际应用价值。

(3)与现有技术相比，本发明的优点：

首先，我们提出了一种新的高效掩模提取网络，它由分段CNN组成，用于分割手/手腕区域并标准化掩模的不变特征。从而减少了噪音对骨龄评价结果的影响。

其次，通过考虑骨龄之间的序数关系，我们建立了一个骨龄评价网络，包括数据增强，特征提取网络和多个二元输出层，以准确估计骨龄。。

最后，我们通过增加图像的通道信息，增强网络的先验知识，从而提高骨龄估计的准确性。

(四)附图说明

图1为本发明所述方法的流程框图。

(五)具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明的流程框图如图1所示，本发明一种基于两阶段深度神经网络的骨龄评价方法，其具体实施步骤如下：

步骤一：按比例缩放原始输入图像，使长边为512，短边补0为512；

步骤二：图像掩模提取；

首先，搭建全卷积分割网络，网络结构为：

每个降采样层使用3x3的卷积核，并使用RELU作为激活函数，前两个卷积层的通道数为64，三四层通道数为128，五至七层通道数为256，八至十三层通道数均为512.在第2，4，7，10个卷积层后分别为一个2x2的降采样层，步长为2。

解码器部分中的每一步包括对特征映射进行上采样，使用2x2卷积核(“上卷积”)，该特征映射将特征通道的数量减半，并将其与VGG的相应编码特征映射级联，随后使用3x3卷积核，激活函数为ReLU。上采样步骤重复了4次用来与4个降采样层配对.在最后一层卷积，使用1x1卷积将每个64分量特征向量映射到期望的两类(背景与掩膜)。激活函数为SoftMax。

然后，训练掩模提取网络。首先使用ImageNet预训练的权重初始化U-Net的13层。其次，手动分割100幅手骨X光影像，将原始图像和掩模作为训练数据训练U-Net网络。批大小为5，训练20个epoch。优化器为Adam，学习率为10^-4。

最后，使用训练好的分割网络提取所有手骨X光影像的掩模。

步骤三：生成训练图像；

首先对网络输出掩模进行形态学处理，包括：使用开运算消除小物体，在纤细点处分离物体，平滑较大物体的边界；使用漫水填充算法天池掩模区域孔洞；计算所有轮廓的面积，并选择面积最大的轮廓作为手骨图像的掩模。

然后，将掩模与输入图像进行融合，融合方式为逐像素相乘。

最后，计算直方图均衡结果。

步骤四：计算步骤三中输出图像的二维单尺度小波变换与Canny算子边缘提取，其中小波变换分解出的LH和HL计算平方和后开平方，随后对该图像拉伸为原图像2倍，插值方式为最近邻插值。与步骤五中输出图像共同组成三通道输入图像；

步骤五：对步骤四得到的图像数据增强，包括图片随机转动的角度为0至10度，图片水平偏移的幅度为0至0.1倍图片宽度，图片垂直偏移的幅度为0至0.1倍图片高度，图片缩放幅度为1-1.15倍，图片可随机水平翻转；

步骤六：

首先，搭建多输出评价网络；

每个卷积层使用3x3的卷积核，并使用RELU作为激活函数，前两个卷积层的通道数为64，三四层通道数为128，五至七层通道数为256，八至十三层通道数均为512.在第2，4，7，10个卷积层后分别为一个2x2的降采样层，步长为2。随后接入2个1024神经元的全连接层。输出227个二元分类器，Task(k-1)预测年龄是否大于k-1个月。预测结果为{0,1}，满足为1，不满足为0；

预测年龄为所有的预测结果求和再加1

损失函数的计算：对每个二元分类器计算交叉损失熵，并考虑每个类别的不同权重

然后，训练多输出评价网络。使用11000幅步骤六的图像作为训练集，1000幅作为测试集，1000幅作为验证集；批大小为32，训练80个epoch。优化器为Adam，学习率为10^-6；

最后通过最小化损失函数，得到最终的预测骨龄。

本说明书中所涉及到的外文符号、代号统一说明如下：

BoneXpert--2009年意大利Thodberg设计的基于形状驱动的主动外观的自动骨龄评估系统；

GoogleNet--2014年美国Christian Szegedy提出的一种全新的深度学习结构网络；

ImageNet--2009年美国李飞飞团队建立的一个用于视觉对象识别软件研究的大型可视化数据库；

BoNet--2017年意大利Spampinato提出的骨龄评估神经网络；

U-Net--2015年德国Ronneberger提出的用于生物图像分割的神经网络；

VGG16--2014年美国Simonyan提出的一种全新的深度学习结构网络。

Claims (5)

1.一种基于两阶段神经网络的骨龄评价方法，其特征在于：其实施步骤如下：

步骤一：调整原始输入手骨图像大小为512×512，即按比例缩放，并添加边缘信息；

步骤二：图像掩模提取；针对后续步骤，首先，搭建预训练全卷积分割网络；随后手动选取100张手骨X光影像，手动提取掩模，将其作为训练样本，通过最小化损失函数J(w)训练分割网络；最后使用训练好的分割网络提取全部输入图像的掩模；

式中：y_n是对应像素的二进制值，

是像素的预测概率，N是总像素数；

步骤三：生成训练图像；首先使用形态学方法批处理步骤二分割出的图像掩模；计算输入图像与掩模融合后的手骨图像；最后对融合后的图像计算其直方图均衡化的图像；

步骤四：对步骤三中生成的图像分别计算二维单尺度小波变换与Canny算子边缘提取，与直方图均衡后的图像共同组成输入样本的三通道；

步骤五：对步骤四中生成的三通道图像进行数据增强，扩充数据集大小；

步骤六：骨龄预测；首先搭建多输出骨龄预测网络；随后选择11000张手骨X光影像作为训练图像，1000幅手骨X光影像作为测试图像，训练预测网络；最后使用训练好的网络评价骨龄；评价指标为平均绝对误差MAE，

式中，N代表输入样本数量，y_i代表预测骨龄，x_i代表实际骨龄；

在步骤二中所述的“搭建预训练全卷积分割网络”，其作法如下：构建U-Net神经网络，将其编码器部分拆离，使用VGG16网络作为其编码器，使用ImageNet预训练权重初始化编码器部分权重；

在步骤六中所述的“搭建多输出骨龄预测网络”，其作法如下：

使用VGG16网络卷积层提取输入图像的特征，然后接入两个1024个神经元的全连接层，连接层后输出227个二元分类器，第k个分类器判断输入图像的年龄是否大于k个月，满足为1，不满足为0；预测年龄为所有的二元分类器判断结果之和加1，损失函数为对每个二元分类器计算交叉损失熵，并计算每个类别的权重，权重函数如下，

式中，λ_k代表第k个年龄段分类器的重要性，N_k为第k个分类器的样本数，K为228个年龄段；

最后通过最小化损失函数，得到最终的预测骨龄。

2.根据权利要求1所述的一种基于两阶段神经网络的骨龄评价方法，其特征在于：在步骤三中所述的“形态学方法”，其作法如下：首先使用开运算即先腐蚀后膨胀，消除小物体，在纤细点处分离物体，并且平滑大物体的边界；再者，漫水填充方法填充掩模目标区域孔洞；最后寻找掩模面积最大的轮廓作为手骨图像的掩模。

3.根据权利要求1所述的一种基于两阶段神经网络的骨龄评价方法，其特征在于：在步骤三中所述的“计算输入图像与掩模融合后的手骨图像；最后对融合后的图像计算其直方图均衡化的图像”，其作法如下：

将原始图像与掩模逐像素相乘获得融合后手骨图像，

I_m(x,y)＝I(x,y)×M(x,y)

式中，I为原始图像，M为掩模，I_m融合后图像；

对融合后的图像进行直方图均衡，即对原始图像的像素灰度做映射变换,使变换后图像灰度的概率密度呈均匀分布，

式中，r代表图像中像素灰度级，0≤r≤1，n是图像中像素点总数，k是灰度级数。

4.根据权利要求1所述的一种基于两阶段神经网络的骨龄评价方法，其特征在于：在步骤四中所述的“对步骤三中生成的图像分别计算二维单尺度小波变换与Canny算子边缘提取，与直方图均衡后的图像共同组成输入样本的三通道”，其作法如下：

首先，对图像进行图像的二维离散小波分解，获得图像在水平方向上的低频和垂直方向上的高频LH、水平方向上的高频和垂直方向上的低频HL，对LH和HL计算平方和后开平方，由于图像尺度上差异，随后将该图像拉伸为原图像2倍，插值方式为最近邻插值，即得到图像二维单尺度小波变换结果；

然后，对图像进行Canny算子边缘提取，包括：用高斯滤波器平滑图像；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值应用非极大值抑制；用双阈值方法检测和连接边缘；

最后，将步骤三得到的图像作为输入样本的第一通道，二维单尺度小波变换结果作为第二通道，Canny算子边缘提取作为第三通道针对后续步骤。

5.根据权利要求1所述的一种基于两阶段神经网络的骨龄评价方法，其特征在于：在步骤五中所述的“对步骤四中生成的三通道图像进行数据增强，扩充数据集大小”，其作法如下：使用深度学习框架Keras中ImageDataGenerator函数进行数据增强，设置数据提升时图片随机转动的角度为0至10度，图片水平偏移的幅度为0至0.1倍图片宽度，图片垂直偏移的幅度为0至0.1倍图片高度，图片缩放幅度为1-1.15倍，图片能随机水平翻转。

Images