CN109191445A - 基于人工智能的骨骼形变分析方法 - Google Patents

Abstract

基于人工智能的骨骼形变分析方法，将素材模型按照给定比例划分成训练集、验证集和测试集；获得预训练基础模型，通过特征提取器将图片转化为高维度的特征向量并作为预训练基础模型的输入进行迁移学习训练；通过验证集对预训练基础模型进行局部关联、权值共享、多核卷积和池化数据降维，卷积神经网络由最后一层开始逐层向前反向传播进行权值的调整，将学习到的特征转化为概率结果进行分类识别，并在卷积神经网络的全连接层里连接所有的特征，将输出值送给分类器；将预训练基础模型应用到验证集得到模型的输出结果，通过将测试集数据输入至训练好的模型利用正确率来测试模型性能。本发明增加骨骼类形变分析结果正确率，降低人力成本。

Description

基于人工智能的骨骼形变分析方法

技术领域

本发明涉及图形处理技术领域，具体涉及一种基于人工智能的骨骼形变分析方法。

背景技术

人工智能是计算机科学的一个分支，它企图了解智能的实质，并研究出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。目前，Tensorflow、keras、caffe等人工智能学习框架已经经历了几年的发展时间，在诸多图像识别领域有了很深的积累和进步。但是与医疗领域的结合中还处于摸索阶段。并没有专用的人工智能技术方案来辅助医生进行骨骼形变分析。骨骼在受到外力撞击时或机体生理环境发生变化时可能产生一定的形变，对骨骼形变的分析有助于机体的健康。传统的技术方案在对骨骼形变分析时，分析结果准确性差，效率低并且成本较高。

发明内容

本发明的目的在于提供一种基于人工智能的骨骼形变分析方法，基于人工智能来辅助骨骼形变的分析，增加骨骼类形变分析结果的正确率，同时大大降低医生的人力成本。

为实现上述目的，本发明实施例提供一种基于人工智能的骨骼形变分析方法，所述分析方法包括以下步骤：

步骤一：收集骨骼X光片样本形成素材库，并根据病变位置对骨骼X光片进行标记，将标记完成的骨骼X光片生成素材模型；

步骤二：将生成的骨骼X光片素材模型按照给定比例划分成训练集、验证集和测试集；

步骤三：对训练集中的骨骼X光片图像数据进行预处理，基于卷积神经网络获得预训练基础模型，通过特征提取器将图片转化为高维度的特征向量并作为预训练基础模型的输入进行迁移学习训练；

步骤四：通过验证集对预训练基础模型进行局部关联、权值共享、多核卷积和池化数据降维，卷积神经网络由最后一层开始逐层向前反向传播进行权值的调整，将学习到的特征转化为概率结果进行分类识别，并在卷积神经网络的全连接层里连接所有的特征，将输出值送给分类器；

步骤五：在训练若干周期后，将预训练基础模型应用到验证集得到模型的输出结果，通过将测试集数据输入至训练好的模型利用正确率来测试模型性能。

作为基于人工智能的骨骼形变分析方法的优选方案，所述步骤一中，骨骼X光片样本从医疗机构、体检机构或高校中收集；所述步骤二中，训练集、验证集与测试集的划分比例依次为60％、20％、20％。

作为基于人工智能的骨骼形变分析方法的优选方案，所述步骤三中，将图像数据通过随机旋转、平移、缩放、对称与剪切进行数据增强，剪切处理过程中，识别X光片骨骼边缘进行剪切，保留有效信息；

所述步骤三中，利用ImageNet数据集获得预训练基础模型，预训练基础模型的结构选择VGG、Inception或ResNet作为特征提取器；

所述步骤三中，卷积神经网络包括输入层、卷积层、激活函数、池化层和全连接层。

作为基于人工智能的骨骼形变分析方法的优选方案，所述输入层对原始图像数据进行去均值和归一化预处理，去均值过程中将输入数据各个维度中心化为0，归一化过程中将输入数据幅度归一化到相同的范围，归一化过程中通过BN算法在网络每一层的输入前增加一层BN层，对输入数据进行归一化处理。

作为基于人工智能的骨骼形变分析方法的优选方案，所述卷积层中将每个神经元作为一个滤波器和窗口滑动，由滤波器对局部数据计算。

作为基于人工智能的骨骼形变分析方法的优选方案，所述激活函数将卷积神经网络线性结构数据的输入和输出关系转为非线性，

采用Leaky ReLU为激活函数，激活函数的表示方式为：

其中，x_i代表输入值，a_i代表函数梯度。

作为基于人工智能的骨骼形变分析方法的优选方案，所述池化层采用max-pooling算法，max-pooling算法的表示方式为：

其中，α_i代表函数梯度；

x_i代表输入值；

D代表训练过的参考集通过函数L(α,D)的最小平均值得到；

||α||₁代表α在l₁层的范数；

λ代表是控制函数疏密的参数；

h_m,j代表α在整格矩阵里的最大值；

N_m为大小为m的矩阵N；

α_i,j代表整格矩阵里的具体值。

作为基于人工智能的骨骼形变分析方法的优选方案，所述步骤四中，反向传播过程中，采用log对数损失函数，进行逻辑斯蒂回归推导，获得满足样本分布的似然函数，通过偏导数与残差的乘积从最后一层逐层向前去改变每一层的权重；

log对数损失函数的表达形式为：

L(Y,P(Y|X))＝-logP(Y|X)

其中，X表示样本，Y表示分类。

作为基于人工智能的骨骼形变分析方法的优选方案，所述步骤四中，分类器采用Logistic分类器，Logistic分类器的分类方法为：

其中，y＝1代表z在y＝1的空间里移动，e为自然常数，z代表过渡变数，标示z在向量w的方向上取值变化，x代表输入变量，b代表跳跃跨度参数。

本发明实施例具有如下优点：基于人工智能技术，为分析诊断骨骼类形变提供可视化参考依据；提高对于骨骼形变分析结果的准确率；降低骨骼类形变分析的人力成本；在非治疗性应用领域大大降低人工诊断成本。

附图说明

图1为本发明实施例中基于人工智能的骨骼形变分析方法示意图；

图2为本发明实施例中提供的卷积层去均值与归一化示意；

图3为本发明实施例中滤波器和窗口滑动示意；

图4为本发明实施例中卷积层计算示意图；

图5为本发明实施例中基于人工智能的骨骼形变分析结果示意图；

图6为本发明实施例中基于人工智能的骨骼形变分析准确率统计示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例中，将从医疗机构、体检机构与高校收集到的数据划分为训练集、验证集与测试集，并按照依次60％、20％、20％的比例划分。以此获得正确率最高的泛化能力最好的模型。

其中，训练集作用是用来拟合模型，通过设置分类器的参数，训练分类模型。后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类器。验证集作用是当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。如svm中的参数c和核函数等。测试集通过训练集和验证集得出最优模型后，使用测试集进行模型预测。用来衡量该最优模型的性能和分类能力。即可以把测试集当做从来不存在的数据集，当已经确定模型参数后，使用测试集进行模型性能评价。

通过对原始数据进行三个数据集的划分，可以防止模型过拟合。当使用了所有的原始数据去训练模型，得到的结果很可能是该模型最大程度地拟合了原始数据，亦即该模型是为了拟合所有原始数据而存在。当新的样本出现，再使用该模型进行预测，效果不如只使用一部分数据训练的模型。

参见图1，在数据预处理过程中，首先，将图像数据进行预处理。具体包括随机旋转、平移、缩放、对称与剪切等方式进行数据增强。其中剪切处理，会识别X光片骨骼边缘剪切，保留有效信息。有效缓解在数据集较小的情况下模型容易过拟合的问题。

鉴于卷积神经网络具有很强的特征学习能力，利用在ImageNet数据集获得预训练基础模型。模型结构可以选择VGG、Inception、ResNet(残差结构)等作为特征提取器，通过将图片转化为特定的高维度的特征向量，并作为模型的输入进行迁移学习的训练。

本发明中的卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)。

参见图2，数据输入层要做的处理主要是对原始图像数据进行预处理，其中包括去均值和归一化。去均值指的是把输入数据各个维度都中心化为0，其目的是把样本的中心拉回到坐标系原点上。而归一化是将幅度归一化到同样的范围，即减少各维度数据取值范围的差异而带来的干扰，比如，假设有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，最好的做法就是归一化，即A和B的数据都变为0到1的范围。

具体实践过程，通过批量归一化使过于发散的模型易于收敛，方便向下一层传播(向前传播)。BN算法本质是在网络每一层的输入前增加一层BN层(也即归一化层)，对数据进行归一化处理，然后再进入网络下一层，但是本发明BN并不是简单的对数据进行求归一化，而是引入了两个参数λ和β去进行数据重构，具体公式如下:

其中，μ_B代表x_i在Mini-batch后的平均值，m代表归一化层的大小,θ_B代表Mini-batch的方差,代表卷积层归一后的向量,∈代表归一化过程中的调整参数,y_i代表归一化后的结果。

本发明采用Keras作为高层神经网络API编写CNN算法。卷积层有两个关键操作：局部关联。每个神经元看做一个滤波器和窗口滑动，再由滤波器对局部数据计算。参见图3，在有些情况下，以下图为例子，比如有一个5×5的图片(一个格子一个像素)，通过滑动窗口取2×2，步长取2，那么发现还剩下1个像素没法滑完。此时通过加入填充值，使得变成6×6的矩阵，那么窗口就可以刚好把所有像素遍历完。

参见图4，图中右侧的矩阵就是输入的图像，中间方位两个矩阵就是卷积层的神经元，这里表示了有两个神经元(w0,w1)。右侧矩阵就是经过卷积运算后的输出矩阵，这里的步长设置为2。

右侧的矩阵(输入图像)对间方位两个矩阵进行矩阵内积计算并将三个内积运算的结果与偏置值b相加(比如针对图4的计算：2+(-2+1-2)+(1-2-2)+1＝2-3-3+1＝-3)，计算后的值就是右侧矩阵的一个元素。

在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，通过采用边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就是整张图像的特征提取器集合。

卷积神经网络是一个线性结构，激活函数的目的是将输入和输出的关系转为非线性。在每一个卷积层中都会利用激活函数来增加数据非线性，来拟合得到高维非线性数学模型。

通过采用ReLU(Rectified Linear Unit)函数的变体Leaky ReLU为激活函数应用到本发明。

f(x)＝max(0,x)

ReLU函数表达式

Leaky ReLU表达式

Leaky ReLU是ReLU激活函数的变体，它具有泄露修正线性单元的输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习。

相比于sigmod函数和tanh函数，Leaky ReLU有以下几个优点：

1)在输入为正数的时候，不存在梯度饱和问题。

2)计算速度要快。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。(sigmod和tanh要计算指数，计算速度会比较慢)

池化层中，激活后的数据模型由于参数负载过量，需要通过池化进行数据降维，并且增加数据特征的平移和旋转不变性。池化的结果是使得特征减少，参数减少，但池化的目的并不仅在于此。池化目的是为了保持某种不变性(旋转、平移、伸缩等)，常用的有mean-pooling和max-pooling。

特征提取的误差主要来自两个方面：

(1)邻域大小受限造成的估计值方差增大；

(2)卷积层参数误差造成估计均值的偏移。

mean-pooling能减小第一种(1)误差，更多的保留图像的背景信息，max-pooling能减小第二种(2)误差，更多的保留纹理信息。由于医疗影像的特殊性，本发明采用保留更多纹理信息的max-pooling算法，即对邻域内特征点取最大。

其中，α_i代表函数梯度；

x_i代表输入值；

D代表训练过的参考集通过函数L(α,D)的最小平均值得到；

||α||₁代表α在l₁层的范数；

λ代表是控制函数疏密的参数；

h_m,j代表α在整格矩阵里的最大值；

N_m为大小为m的矩阵N；

α_i,j代表整格矩阵里的具体值。

本发明的反向传播由最后一层开始，逐层向前传播进行权值的调整。前向传播得到的结果与实际的结果得到一个偏差，然后通过梯度下降法的思想，梯度指向了参数调节的方向，从而知道如何接近函数谷底。

在每一次特征提取过程中，都会将特征提取结果与原数据集标记做比对得出损失函数/代价函数(Loss function/Cost function),通常表达式如下：

其中，θ表示找到使目标函数最小时的θ值；

N代表函数体积；

y_i与x_i代表函数L的变量；

λ代表放大与缩小调整函数Φ(θ)效用的参数。

本发明采用Logit regression的log对数损失函数。在逻辑斯蒂回归的推导中，假设样本服从伯努利分布(0-1)分布，然后求得满足该分布的似然函数，接着用对数求极值。逻辑斯蒂回归并没有求对数似然函数的最大值，而是把极大化当做一个思想，进而推导它的风险函数为最小化的负的似然函数。从损失函数的角度上，它就成为了log损失函数。

log损失函数的标准形式：

L(Y,P(Y|X))＝-logP(Y|X)

其中，X表示样本，Y表示分类。

在极大似然估计方法(Maximum Likelihood Estimate，MLE)中，通常都是先取对数再求导，再找极值点，这样做是方便计算极大拟然估计。损失函数L(Y,P(Y|X))L(Y,P(Y|X))是指样本X在分类Y的情况下，使概率P(Y|X)达到最大值(利用已知的样本分布，找到最大概率导致这种分布的参数值)。通过偏导数与残差的乘积通过从最后一层逐层向前去改变每一层的权重。在逆向反馈的过程中，学习率的选择上会根据不同训练阶段进行调整。本发明应用可变学习率，能够在损失函数接近谷底时降低步幅。

本发明分类过程是把提取特征点将所学习到的特征转化为概率结果的过程。在全连接层里连接所有的特征，将输出值送给分类器。不同的分类器会对应不同的损失函数。目前主要采用的有两种分类器：

Logistic分类器是以Bernoulli(伯努利)分布为模型建模的，它可以用来分两种类别。Softmax分类器。Softmax分类器以多项式分布(MultinomialDistribution)为模型建模的，它可以分多种互斥的类别。

由于医疗影像数据往往是基于病变有或无的判断，因此本发明应用logistic分类器，Logistic分类器的分类方法为：

其中，y＝1代表z在y＝1的空间里移动，e为自然常数，z代表过渡变数，标示z在向量w的方向上取值变化，x代表输入变量，b代表跳跃跨度参数。

本发明在训练一定周期后，将模型应用到验证集得到模型的输出结果。由于在训练过程中，损失函数会不断下降在此过程中可能出现不断震荡或者过拟合。验证集可以提供结束训练循环的标准，即验证集的正确率没有明显的提高。将测试集数据输入至训练好的模型(Trained Model)，通过正确率来测试模型性能(Performance)。并在，在卷积神经网络最后一层，采取Sigmoid函数缩小取值范围。由于Relu函数取值范围是(-∞,+∞)，而Sigmoid取值范围是(0,1)进而更好解释结果。同时，为了提高准确率，根据人体不同部位设置专用分类模型。

参见图5，本发明实施例中通过学习3万张由斯坦福大学MURA项目提供并标注的人体骨骼X光片，可以成功通过本发明识别目标骨骼X光片是否有病面。参见图6，本发明实施例中，识别准确率在76％。当可供训练样品增多时，理论上可以将准确率提高至80％以上。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.基于人工智能的骨骼形变分析方法，其特征在于：所述分析方法包括以下步骤：

步骤一：收集骨骼X光片样本形成素材库，并根据病变位置对骨骼X光片进行标记，将标记完成的骨骼X光片生成素材模型；

步骤二：将生成的骨骼X光片素材模型按照给定比例划分成训练集、验证集和测试集；

步骤三：对训练集中的骨骼X光片图像数据进行预处理，基于卷积神经网络获得预训练基础模型，通过特征提取器将图片转化为高维度的特征向量并作为预训练基础模型的输入进行迁移学习训练；

步骤四：通过验证集对预训练基础模型进行局部关联、权值共享、多核卷积和池化数据降维，卷积神经网络由最后一层开始逐层向前反向传播进行权值的调整，将学习到的特征转化为概率结果进行分类识别，并在卷积神经网络的全连接层里连接所有的特征，将输出值送给分类器；

步骤五：在训练若干周期后，将预训练基础模型应用到验证集得到模型的输出结果，通过将测试集数据输入至训练好的模型利用正确率来测试模型性能。

2.根据权利要求1所述的基于人工智能的骨骼形变分析方法，其特征在于：所述步骤一中，骨骼X光片样本从医疗机构、体检机构或高校中收集；所述步骤二中，训练集、验证集与测试集的划分比例依次为60％、20％、20％。

3.根据权利要求1所述的基于人工智能的骨骼形变分析方法，其特征在于：所述步骤三中，将图像数据通过随机旋转、平移、缩放、对称与剪切进行数据增强，剪切处理过程中，识别X光片骨骼边缘进行剪切，保留有效信息；

所述步骤三中，利用ImageNet数据集获得预训练基础模型，预训练基础模型的结构选择VGG、Inception或ResNet作为特征提取器；

所述步骤三中，卷积神经网络包括输入层、卷积层、激活函数、池化层和全连接层。

4.根据权利要求3所述的基于人工智能的骨骼形变分析方法，其特征在于：所述输入层对原始图像数据进行去均值和归一化预处理，去均值过程中将输入数据各个维度中心化为0，归一化过程中将输入数据幅度归一化到相同的范围，归一化过程中通过BN算法在网络每一层的输入前增加一层BN层，对输入数据进行归一化处理。

5.根据权利要求3所述的基于人工智能的骨骼形变分析方法，其特征在于：所述卷积层中将每个神经元作为一个滤波器和窗口滑动，由滤波器对局部数据计算。

6.根据权利要求3所述的基于人工智能的骨骼形变分析方法，其特征在于：所述激活函数将卷积神经网络线性结构数据的输入和输出关系转为非线性，

采用Leaky ReLU为激活函数，激活函数的表示方式为：

其中，x_i代表输入值，a_i代表函数梯度。

7.根据权利要求3所述的基于人工智能的骨骼形变分析方法，其特征在于：所述池化层采用max-pooling算法，max-pooling算法的表示方式为：

其中，α_i代表函数梯度；

x_i代表输入值；

D代表训练过的参考集通过函数L(α,D)的最小平均值得到；

||α||₁代表α在l₁层的范数；

λ代表是控制函数疏密的参数；

h_m,j代表α在整格矩阵里的最大值；

N_m为大小为m的矩阵N；

α_i,j代表整格矩阵里的具体值。

8.根据权利要求1所述的基于人工智能的骨骼形变分析方法，其特征在于：所述步骤四中，反向传播过程中，采用log对数损失函数，进行逻辑斯蒂回归推导，获得满足样本分布的似然函数，通过偏导数与残差的乘积从最后一层逐层向前去改变每一层的权重；

log对数损失函数的表达形式为：

L(Y,P(Y|X))＝-logP(Y|X)

其中，X表示样本，Y表示分类。

9.根据权利要求1所述的基于人工智能的骨骼形变分析方法，其特征在于：所述步骤四中，分类器采用Logistic分类器，Logistic分类器的分类方法为：

其中，y＝1代表z在y＝1的空间里移动，e为自然常数，z代表过渡变数，标示z在向量w的方向上取值变化，x代表输入变量，b代表跳跃跨度参数。