CN108335303A - 一种应用于手掌x光片的多尺度手掌骨骼分割方法 - Google Patents

Abstract

本发明公开了一种应用于手掌X光片的多尺度手掌骨骼分割方法，包括以下步骤：步骤1，收集不同年龄段的手掌X光片图像，标注每个像素点的类别；步骤2，对原始图像进行预处理，增加图片对比度；步骤3，对进行过预处理的图像进行尺度变换处理；步骤4，设计卷积神经网络结构；步骤5，将标注类别的图像和原始图像一起输入到卷积神经网络，对不同尺度的原始图像进行卷积特征提取，将提取的不同尺度的特征信息进行融合后进行卷积处理，进行模型训练直至模型收敛；步骤6，训练完成，进行分割应用。利用本发明，加强了对不同大小手掌骨骼的适应性，减弱了因灰度不均带来的不利影响，具有更好的适应性和鲁棒性。

Description

一种应用于手掌X光片的多尺度手掌骨骼分割方法

技术领域

本发明属于医疗数据挖掘领域，尤其涉及到一种应用于手掌X光片的多尺度手掌骨骼分割方法。

背景技术

图像分割在医学影像分析领域的研究一直都是热点，应用领域非常广泛。在临床手术规划、模拟及人体三维可视化中，实现医学影像中骨骼的完整分割具有重要意义。

在手掌的X光片中，骨骼区域在X光片中的信号强度值较高，而其他软组织的信号强度值一般低于骨骼的信号强度值，传统的分割方法通过合理的选择阈值，基于常规的阈值分割方法普遍用于骨骼分割。

但是，临床上的X光片的情况比较复杂，常见情况包括骨骼信号强度分布并不总是高于其他软组织的信号强度，某些骨骼区域的强度甚至接近与软组织的信号强度；不同厂商拍摄设备的差异，导致骨骼与软组织的信号强度对比度偏弱，骨骼信号强度不一致；为能得到较好的拍摄效果，有些拍摄甚至需要压板辅助。

对于这些复杂情况，若选用传统方式的固定阈值或自适应阈值，会出现“过分割”和“欠分割”甚至未能分割手掌骨骼。因此，常规的阈值分割方法很难满足骨骼的精准分割要求。另一种常用的骨骼分割方法是区域增长，但是手掌骨骼由众多灰度不均的骨骼块连接构成、连通区域因年龄差异又各有不同，基于种子的区域增长很难获取所有完整的骨骼块，从而出现“漏分割”、“分割不完整”。

发明内容

本发明提供了一种应用于手掌X光片的多尺度手掌骨骼分割方法，提高了不同大小手掌骨骼分割的精度，具有较好的适应性和鲁棒性。

一种应用于手掌X光片的多尺度手掌骨骼分割方法，包括如下步骤：

步骤1，收集不同年龄段的手掌X光片原始图像，根据手掌骨骼形状，对每个像素点标注类别，得到标注类别的图像；

步骤2，对原始图像进行预处理，增加图片对比度；

步骤3，对进行过预处理的图像进行尺度变换处理；

步骤4，设计卷积神经网络结构，所述卷积神经网络包含对输入数据进行处理的卷积层、激活层；

步骤5，将标注类别的图像和经过尺度变换的原始图像一起输入到卷积神经网络，对不同尺度的原始图像进行卷积特征提取，将提取的不同尺度的特征信息进行融合后进行卷积处理，进行模型训练直至模型收敛；

步骤6，训练完成，进行分割应用。

步骤1中，所述标注类别的具体方式为：骨骼区域的像素标注为1，非骨骼区域的像素标注为0。

因在实际应用中不同拍摄设备间的差异，图像质量如亮度各有不同，为适应实际应用情况，对图像的对比度进行了预处理。步骤2中，所述的预处理为使用伽马变换方法，公式如下：

I＇(x,y)＝(I(x,y)*r)^γ,r∈[0,1]

其中，I(x,y)是输入像素的灰度值，I′(x,y)是输出像素的灰度值，γ为伽马系数，通过改变γ的值，增加图像的对比度。

步骤3中，所述的尺度变换处理为：将输入图像分辨率转换为224x224和512x512两种尺度。

标记骨骼区域是给训练模型提供一个分割标准，是模型能够达到的理想情况；尺度的选择考虑到手掌X光片中的手掌骨骼相对较大，考虑到实际中的训练、存储、运行效率、保证较好分辨率、尽可能减少特征损失等方面。

步骤4中，所述的卷积神经网络在特征提取过程使用两个残差卷积单元，所述残差卷积单元由卷积层和激活层组成；所述卷积层对图像进行特征提取，卷积公式如下：

其中，f(x,y)是输入图像，g(x,y)是卷积核函数，m与n分别代表卷积核的长和宽；

从图像中提取到的特征信息量较大，为避免出现线性不可分的数据信息，需要对数据非线性化处理。所述激活层对卷积后的特征进行非线性变化，激活函数为relu函数，公式如下：

f(t)＝max(0,t)

其中，t代表输入信息量。

步骤5中，所述的不同尺度的特征信息进行融合的具体步骤为：

首先，使用反卷积方法将不同尺度的特征图变换成统一尺度的特征图；

然后，将统一尺度的特征图通过相加方式进行融合为综合特征图；

最后，对综合特征图再次进行卷积处理。

所述的模型训练的具体步骤为：

首先，使用前向传递区分原始图像中每个像素的类别；所述的前向传递使用softmax方法计算图像像素类别，计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，φ_i表示像素值属于第i个类别的概率值，概率值的范围区间为[0,1]，φ_i的数值越大则说明此像素值属于类别i的概率越高。

然后，计算其区分的类别与人工标注的真实类别之间的误差；使用损失函数计算模型输出结果与真实结果之间的偏差，计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，1{y＝i}表示当像素的类别等于i时，该表达式等于1，否则等于0，L为判别结果与真实标注的误差。当误差渐渐变小，直到不再随着迭代次数的增加而下降时，则卷积神经网络的模型收敛。

最后，使用反向传递对卷积层中的权重参数进行更新，反复迭代训练直至模型收敛。

本发明通过在卷积神经网络中加入多尺度的特征训练，在多尺度情况下更突出了骨骼的形状不变特征，加强了对不同大小手掌骨骼的适应性；同时对训练样本进行不同的数据增强处理，减弱了因灰度不均带来的不利影响，使得该方法对于不同亮度情况具有较好的容忍性，相比于传统的分割方法，本方法具有更好的适应性和鲁棒性。

附图说明

图1为本发明分割方法的流程图；

图2为多尺度变换输入示意图；

图3为手掌X光片的分割模型示意图；

图4为残差卷积单元示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅仅用以解释本发明。

如图1所示，一种应用于手掌X光片的多尺度手掌骨骼分割方法，包括步骤如下：

(1)采集样本并对样本图像预处理

S101，在图像中对手掌骨骼区域进行标记，标记需要较好的贴合骨骼边缘，且能保持骨骼的形状。

S102，增加手骨图像的对比度，本发明使用的是伽马变换方法，公式如下：

I′(x,y)＝(I(x,y)*r)^γ,r∈[0,1]

其中，γ值以1为界限，值越小，对低灰度部分的扩展作用就越强，值越大，对高灰度部分的扩展就越强，通过不同的γ值，可以增强低灰度或高灰度部分以达到增加图像的对比度。

为增加样本数据的丰富性和模型的适应性，在区间[0.4,2.0]之内随机选取10个γ值，使用10个γ对每张图像都进行对比度增强处理并将这些图片加入到训练集中。

S103，将输入图像分辨率转换为224x224和512x512两种尺度，如图2所示。

标记骨骼区域是给训练模型提供一个分割标准，是模型能够达到的理想情况；尺度的选择考虑到手掌X光片中的手掌骨骼相对较大，考虑到实际中的训练、存储、运行效率、保证较好分辨率、尽可能减少特征损失等方面。因在实际应用中不同拍摄设备间的差异，图像质量如亮度各有不同，为适应实际应用情况，对图像的对比度进行处理。

(2)特征提取与融合

所述卷积神经网络使用卷积层来提取特征，为了让网络能更好的解决较为复杂的问题加入了非线性函数。因不同尺度的图像具有一定的不变特征，为让卷积神经网络学习到不变特征，本发明使用了多尺度的融合模型，将从不同尺度的输入图像学习到的信息融合起来进行学习优化。

本实施例中，对卷积神经网络的训练如图3所示。

S201，使用卷积层对图像进行特征提取，卷积公式如下：

其中，f(x,y)是输入图像，g(x,y)是卷积核函数，m与n分别代表卷积核的长、宽，使用不同的卷积核遍历图像信息以提取不同的特征信息。

S202，使用激活层对卷积后的特征进行非线性变化。从图像中提取到的特征信息量较大，为避免出现线性不可分的数据信息，需要对数据非线性化处理，选择relu函数对特征进行非线性化计算，其公式如下：

f(t)＝max(0,t)

其中，t代表输入信息量。

使用卷积层和激活层组成残差卷积单元，如图4所示，所述卷积神经网络在特征提取阶段使用两个残差卷积单元，在具体实现上，卷积层使用卷积核大小为3x3，卷积步长在第一个残差卷积单元为1，第二个残差卷积单元的卷积步长为2，前一单元的输出即后一单元的输入。

S203，将不同尺度输入得到的特征信息进行融合。因为不同尺度的特征图有其独有的特征，这些融合起来的信息代表了图像中手掌骨骼的综合特征信息。

不同尺度的输入图像经过同样的卷积操作后，得到的特征图的尺度仍然不相同，为了便于特征信息的融合，对不同尺度的特征图使用反卷积方法变换成统一尺度的特征图；将统一尺度的特征图通过相加方式进行融合。

S204，融合特征再处理。不同尺度的特征信息代表着各自独有的特征信息，需对融合后的综合特征再次进行卷积处理，加强从不同尺度的图像中学习到的特征的相关性。

(3)模型训练与应用

S301，模型训练。将手掌骨骼进过标注的图像输入到所述卷积神经网络中，使用影响梯度下降的自适应时刻估计方法对所述的卷积神经网络进行训练，卷积神经网络的前向传递计算区分手掌骨骼图像中每个像素的类别，通过对比并计算其分类的类别与所述预先人工标注的真实类别之间的误差，使用反向传递计算对卷积层中的权重等参数进行更新，如所述方法对卷积神经网络模型进行训练，直至模型收敛即完成训练过程。

本发明的标注类别是骨骼的像素为目标，标注为1，非骨骼的像素为背景，标注为0。

本发明的卷积神经网络前向传递使用softmax方法计算图像像素类别，计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，φ_i表示像素值属于第i个类别的概率值，概率值的范围区间为[0,1]，φ_i的数值越大则说明此像素值属于类别i的概率越高。

卷积神经网络输出的结果跟真实标注接近甚至相同，说明网络效果较好，若网络输出结果跟真实标注差别较大，说明网络需要继续训练，所述卷积神经网络使用损失函数来计算网络输出结果与真实结果之间的误差，其计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，1{y＝i}表示当像素的类别等于i时，该表达式等于1，否则等于0，L为判别结果与真实标注的误差。当误差渐渐变小，直到不再随着迭代次数的增加而下降时，则卷积神经网络的模型收敛。

S302，模型分割应用。在实际应用中，将待分割的手掌X光片输入到网络模型中即可得到二值的分割图像，手掌骨骼的值为1，非骨骼区域的值为0。

Claims (9)

1.一种应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，包括如下步骤：

步骤1，收集不同年龄段的手掌X光片原始图像，根据手掌骨骼形状，对每个像素点标注类别，得到标注类别的图像；

步骤2，对原始图像进行预处理，增加图片对比度；

步骤3，对进行过预处理的图像进行尺度变换处理；

步骤4，设计卷积神经网络结构，所述卷积神经网络包含对输入数据进行处理的卷积层、激活层；

步骤5，将标注类别的图像和经过尺度变换的原始图像一起输入到卷积神经网络，对不同尺度的原始图像进行卷积特征提取，将提取的不同尺度的特征信息进行融合后进行卷积处理，进行模型训练直至模型收敛；

步骤6，训练完成，进行分割应用。

2.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤1中，所述标注类别的具体方式为：骨骼区域的像素标注为1，非骨骼区域的像素标注为0。

3.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤2中，所述的预处理为使用伽马变换方法，公式如下：

I′(x,y)＝(I(x,y)*r)^γ,r∈[0,1]

其中，I(x,y)是输入像素的灰度值，I′(x,y)是输出像素的灰度值，γ为伽马系数，通过改变γ的值，增加图像的对比度。

4.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤3中，所述的尺度变换处理为：将输入图像分辨率转换为224x224和512x512两种尺度。

5.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤5中，所述的卷积神经网络在特征提取过程使用两个残差卷积单元，所述残差卷积单元由卷积层和激活层组成；所述卷积层对图像进行特征提取，卷积公式如下：

其中，f(x,y)是输入图像，g(x,y)是卷积核函数，m与n分别代表卷积核的长和宽；

所述激活层对卷积后的特征进行非线性变化，激活函数为relu函数，公式如下：

f(t)＝max(0,t)

其中，t代表输入信息量。

6.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤5中，所述的不同尺度的特征信息进行融合的具体步骤为：

首先，使用反卷积方法将不同尺度的特征图变换成统一尺度的特征图；

然后，将统一尺度的特征图通过相加方式进行融合为综合特征图；

最后，对综合特征图再次进行卷积处理。

7.根据权利要求1所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，步骤5中，所述的模型训练的具体步骤为：

首先，使用前向传递区分原始图像中每个像素的类别；

然后，计算其区分的类别与人工标注的真实类别之间的误差；

最后，使用反向传递对卷积层中的权重参数进行更新，反复迭代训练直至模型收敛。

8.根据权利要求7所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，所述的前向传递使用softmax方法计算图像像素类别，计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，φ_i表示像素值属于第i个类别的概率值，概率值的范围区间为[0,1]，φ_i的数值越大则说明此像素值属于类别i的概率越高。

9.根据权利要求7所述的应用于手掌X光片的多尺度手掌骨骼分割方法，其特征在于，所述计算误差的函数为损失函数，计算公式如下：

其中，c表示真实标注的类别数目，i是类别编号，且i小于c，β_i是卷积神经网络输出结果，表示结果属于类别i时的值，β_k表示第k个类的输出值，1{y＝i}表示当像素的类别等于i时，该表达式等于1，否则等于0，L为判别结果与真实标注的误差。