CN111127390B - 基于迁移学习的x射线影像处理方法及系统 - Google Patents

Abstract

本申请提供了一种基于迁移学习的X射线影像处理方法及系统，该系统包括：X射线影像接收模块，用于接收输入的X射线影像数据；X射线影像处理模块，利用优化模型，对所述X射线影像进行处理，并进行分类；所述优化模型通过以下方式获得：建立VGG‑16卷积神经网络，并基于X射线影像分类结果数量，放弃所述VGG‑16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定全连接层，并获得完整模型；对所述完整模型进行优化，得到优化模型；输出模块，接收所述X射线影像处理模块的输出数据，并输出分类结果。本申请的方案针对大骨节异变的X射线影像处理及识别准确率高，且系统拟合情况优越，训练效率高。

Description

基于迁移学习的X射线影像处理方法及系统

技术领域

本发明涉及计算机智能图像处理领域，尤其涉及一种针对骨骼相关的X射线影响的处理方法及其系统。

背景技术

X射线影像检查是在医疗领域，尤其在骨骼的观察等相关细分领域中的主要技术手段和依据。以手部骨骼X影响为例，在存在骨骼变异或者因疾病等引起的骨骼变形情形下，X线影像学改变具有特异性，且能够反映骨骼的变异程度以及全身各关节可能存在的受损程度。在现实的骨骼X影像中，虽然骨骼变形相对较为容易观察和识别，但其影像表现形式复杂多样，同一类型起因的骨骼变形的表现形式甚至可以多达数十种，且多为几种并存，因此造成针对特定的变形类型的识别或者归类及其复杂，且常规方法的图像归类和识别准确率极低。识别特定类别的X线征像，对于后续进入人工判断和骨骼变异类型识别是十分重要的，而目前这种识别一般需要有多年经验的人员才能正确的识别分类。目前，国内外尚未见有效的针对骨骼变异类型进行有效识别和归类的产品或系统面世。

基于以上存在的问题，现有的X射线影像识别和处理方法已经不能满足目前的市场需求，对于表现形式复杂的骨骼形变或变异成因的识别和归类，已经成为了针对X射线影像处理和识别领域中亟待解决的问题。

发明内容

针对现有技术的不足，本发明提出了一种基于迁移学习的X射线影像处理方法和系统，并在其中公开了改进的扩充样本和模型构建方法。具体而言，本发明提供了以下的技术方案：

一方面，本发明提供了一种基于迁移学习的X射线影像处理方法，所述方法包括：

S1、构建VGG-16卷积神经网络；

S2、基于X射线影像分类结果数量，放弃所述VGG-16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定全连接层，并获得完整模型；

S3、对所述完整模型进行优化，得到优化模型；

S4、利用所述优化模型，对X射线影像进行分类。

优选地，所述S2进一步包括：

S21、将所述VGG-16卷积神经网络去掉全连接层后，使用特征提取层对测试集和训练集图片进行特征提取并保存；

S22、构建X射线影像分类器，并载入S21中保存的所述特征，对参数进行训练和优化，得到特定的全连接层；

S23、将所述特征提取层与所述特定的全连接层进行搭建，形成完整模型。

优选地，所述S3进一步包括：

S31、针对所述完整模型，冻结卷积层的前M层及全连接层的权重；

S32、使用训练数据集对未冻结的卷积层进行Fine-tune，并进行参数优化；

S33、选择最优参数保存，得到优化模型。

优选地，所述S32中进一步包括，利用SGD方法进行参数优化，且每次更新仅适用一个batch的数据。

优选地，所述S4之前，还包括以下步骤：

S4’、对所述优化模型进行类激活图可视化处理；所述S4’进一步包括：

S4’1、在X射线影像上运行所述优化模型，并将其预测的向量解码为人工可读格式；

S4’2、生成热力图，并将所述热力图进行标准化，得到可视化图；

S4’3、基于所述可视化图生成图像，并将原始X射线影像图像叠加在可视化图生成的图像上，得到叠加热力图。

优选地，所述优化模型中，损失函数为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

优选地，所述S4’2中，得到可视化图通过以下方式进行：

对于输入的X射线影像，对于一个卷积层的输出特征图，用类别相对于每一个通道的梯度对所述输出特征图中的每个通道进行加权。

另一方面，本发明还提供了一种基于迁移学习的X射线影像处理系统，所述系统包括：

X射线影像接收模块，用于接收输入的X射线影像数据；

X射线影像处理模块，利用优化模型，对所述X射线影像进行处理，并进行分类；所述优化模型通过以下方式获得：

建立VGG-16卷积神经网络，并基于X射线影像分类结果数量，放弃所述VGG-16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定全连接层，并获得完整模型；对所述完整模型进行优化，得到优化模型；

输出模块，接收所述X射线影像处理模块的输出数据，并输出分类结果。

优选地，所述系统还包括：

类激活图可视化处理模块，与所述X射线影像处理模块、输出模块连接，用于对所述优化模型进行类激活图可视化处理，并生成叠加热力图数据；

所述输出模块接收所述叠加热力图数据，并输出叠加热力图。

优选地，所述优化模型中，损失函数为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

优选地，所述类激活图可视化处理模块通过以下方式进行可视化处理：

在X射线影像上运行所述优化模型，并将其预测的向量解码为人工可读格式；生成热力图，并将所述热力图进行标准化，得到可视化图；基于所述可视化图生成图像，并将原始X射线影像图像叠加在可视化图生成的图像上，得到叠加热力图，从而实现类激活图可视化。

基于上述记载，与现有技术相比，本申请中的技术方案针对大骨节异变的X射线影像处理及识别准确率高，且系统拟合情况优越，训练效率高，尤其在大骨节异变成因的识别分类方面，具有突出的效果。

附图说明

图1为VGG结构图；

图2为VGG-16结构图；

图3为本发明实施例的训练流程图；

图4为本发明实施例的保守训练网络结构图；

图5为本发明实施例的微调网络结构图；

图6为本发明实施例的自定义神经网络结构图；

图7为本发明实施例的基于SVM的小样本分类示例图；

图8为本发明实施例的实验二的LOSS和ACC曲线；

图9为本发明实施例的实验三的LOSS和ACC曲线；

图10为本发明实施例的实验四的LOSS和ACC曲线；

图11为本发明实施例的实验五的LOSS和ACC曲线；

图12为本发明实施例的实验六的LOSS和ACC曲线。

具体实施例

下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于迁移学习的X射线影像处理方法和系统，并在其中公开了改进的扩充样本和模型构建方法，该方法以一个预训练好的卷积神经网络VGG-16为基础，首先利用保守训练保留图片的特征提取器层，针对输液积料的数据集，训练和搭建特定的分类器，得到初步结果。之后采取层迁移对特征提取器层的权重进行fine-tune，即微调，使准确率提升，最后，对网络中的损失函数进一步优化，改进后的损失函数更好的适应小样本数据训练，准确率进一步提升到较满意程度。在网络训练过程中，采用热力图的方式实现可视化可以帮助更高效地调参。另外，在具体的实验过程中设计了基准实验——用Hog()提取特征加上SVM(支持向量机)方法来做分类，以及未使用迁移学习的神经网络模型作为对比模型。以上方法和实验很好地区分了骨节部位的正常和非正常变异这两种情况，且在有限的样本数据条件下，依然用以上方法训练后得到较好的识别准确率。

迁移学习，也称为归纳迁移、领域适配，其目标是将某个领域或任务上学习到的知识或模式应用到不同的但相关的领域或问题中。可通俗地理解为，一个会识别老鼠和鸭子的人更容易分清“米老鼠”和“唐老鸭”，且更容易分清楚猫和狗，即希望机器可以像人一样，当有了某领域的”学习能力“之后，就可以更容易学习相关领域的技能。迁移学习较早的研究有J.Schmidhuber提出的“Learning how to learn”。之后针对怎样可以更好的迁移，即把源领域的方法更完美地迁移到目标领域去，有Sinno Jialin Pan等提出迁移成分分析TCA(transfer component analysis)方法,专门针对domain adaptation(域适应)的问题，给出了当源域和目标域处于不同数据分布时，可以将两个领域的数据一起映射到一个高维的再生核希尔伯特空间，这样就将两个领域的数据距离缩短，使得两个领域的距离最小化，便于迁移。

近年来，迁移学习这种通过运用与目标问题相关领域的技术来“迁移”解决分类问题的技术，成为在机器学习方法中的热点，尤其是给解决小样本图像处理的监督学习分类问题上提供了全新的思路，例如孙存威等提出的在卷积过程中引入快速批量归一化来提高神经网络的收敛速度并将预训练模型中的全连接层改为RBM(restricted Boltzmannmachine)来消除小样本声纹特有的高阶特征。又如，Budhaditya Saha等利用迁移学习和多任务学习来解决医学上的预测问题，通过分析几个任务数据的相关性来对小样本的数据进行扩充。

针对神经网络中调整参数工作冗余、耗时长的问题上，迁移学习利用已经训练好的大型网络中的通用层，之后再针对样本的特殊性对需要修改的部分进行重新训练，最大化缩短了无关训练。如在自然语言处理问题中，最后几层均为文字分类层，则可直接迁移参数。在图像识别中，CNN(convolutional neural network，卷积神经网络)在对图像进行处理时，通常前几层均为特征提取的功能，在不同类的图像中其模型差距较小，这样就给了图像小样本问题以迁移条件。如周曼等通过把Alexnet模型前几层卷积层冷冻起来，然后不断微调其全连接层而构建工业现场的图像识别分类。

VGG卷积神经网络是牛津大学在2014年提出来的图像分类模型，训练集采用了开源数据集ImageNet中的一个子集进行训练，训练数量非常大，有效的避免了过拟合问题，且大规模训练产生的参数为迁移学习提供了好的源领域模型。VGG神经网络在图像分类和目标检测任务中均表现出非常好的结果，如在2014年的ILSVRC比赛中，VGG在Top-5中取得了92.3％的正确率，其结构如图1所示。

VGG有一些变种，其中的VGG-16成为最流行的模型。VGG-16是一个16层的卷积神经网络层，一共有5个卷积层和3个全连接层，输出层攻1000个节点，采用softmax函数，网络训练的损失函数使用交叉熵损失函数，激活函数采用Relu函数，为了更快的优化网络，采用Adma优化算法，其结构如图2所示。

VGG-16的训练量规模非常大，避免了过拟合的情况，且使用多个较小卷积核的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，可以增加网络的拟合能力，在图像处理中表现很好。

基于以上所述，本发明使用VGG模型在图像数据集ImageNet上训练得到的权重参数，并利用迁移学习来解决大骨节异变图像样本量较少、且卷积神经网络训练过程中的耗时问题。同时将带有权重的VGG16网络的卷积层和下采样层作为特征提取层(具有边缘特征、纹理特征等特征提取能力)，之后构建和训练适用大骨节图像的全连接层来完成模型搭建。为了进一步提高效果，冻结部分权重，之后对VGG-16模型的高层，即卷积层的后几层进行fine-tune。实验结果表明，此模型的分类准确率很高，同时大大降低了训练耗时。

以下以大骨节X射线影像图像的处理为例进行本申请技术方案的详细说明。本发明的技术方案是针对小样本的大骨节异变图像进行分类的问题，对VGG-16卷积神经网络进行迁移学习，流程如附图3。主要有以下两种方法：

第一种保守训练，使用源领域数据训练好的模型尽可能多的直接迁移到目标领域模型，保证原模型参数变化不大并使得输出结果的概率向量很接近。具体为保留VGG-16的图像特征提取层(卷积层和池化层)，用大骨节异变图像的部分训练数据训练出匹配大骨节异变分类的全连接层分类器，训练时特征提取层提取的特征输入，利用RMSProp(Root MeanSquare Prop)优化器自适应学习率算法优化参数，搭建完整分类模型，最后使用测试集评价模型。

第二种层迁移优化方法：规定源领域训练出模型的某些层参数冻结(即固定，防止抖动)，将这些层的Learning rate设置为0或者很小。之后训练剩下的层，进行微调，防止过拟合。具体为利用Fine-tune来优化模型：载入在实验一中搭建的模型，即VGG-16的卷积层和池化层权重以及大骨节异变特有的全连接层权重，之后用部分训练数据对VGG-16的后几层卷积层进行微调，使用SGD(Stochastic Gradient Descent)优化器自适应学习率算法。最后使用测试集评价模型。

以下为在实际针对大骨节X射线图像的模型训练过程：

1、保守训练的分类模型

保守训练的分类模型训练需要保留VGG-16的图像特征提取层，并对训练集数据进行特征提取，载入特征提取层的结果和RMSProp学习率算法训练模型的全连接层，之后，完成模型搭建并测试。

VGG-16卷积神经网络的Conv block 1-5都是卷积层和池化层，组成了图片的特征提取器，而后面的Flatten和Dense组成了分类器，如附图4。

使用Image Net作为源领域训练出的VGG-16网络，迁移到大骨节异变图像的过程中，为克服具备优质标准信息的X光图像样本较少的问题，首先需要对图像进行图像增强操作：对训练集进行反转、平移等以达到扩充样本数量的效果，增加算法泛化性。

数据增强在图像处理的实际应用中会经常使用的增加算法鲁棒性的做法，在特定的实用和场景下，往往很难收集到丰富、量大且满足各种各样条件的图像来进行训练和测试。在本申请中的大骨节异变图片数量就难以满足神经网络的训练要求。因此，本发明中使用反转、平移等方法对样本进行处理。

图像增强之后，针对大骨节异变图像是二分类，只有正常和非正常两个结果，需要放弃VGG-16中的全连接层，训练和上述分类匹配的全连接层和二分类结果，结合RMSProp算法对训练参数进行优化。在具体进行参数优化时，对权重W和偏置b的梯度使用微分平方加权平均数，以此得到较为理想的全连接层参数：

S_dw＝βs_dw+(1-β)dW² (1)

S_dw＝βs_dw+(1-β)db² (2)

上式中，S_dw和S_db分别表示损失函数在前t-1轮迭代过程中累积的梯度梯度动量，β是梯度累积的一个指数。

在一个具体的实施方式中，上述方式的训练方法步骤如下：

A1、将图像数据集分为训练集和测试集，对训练集进行数据增强；

A2、搭建VGG-16并载入参数，之后去掉其全连接层，使用特征提取层统一对所有图片提取特征并保存；

A3、构建大骨节病图像分类的分类器，并载入之前保存的特征，使用RMSProp算法对参数进行训练和优化，得到特定的全连接层；

A4、将特征提取层与全连接层搭建完成并使用测试集测试。

2、优化分类模型

优秀模型的某些层并不是特定于某一数据集或者某一任务，而是通用的特征，它们适用于许多数据集和普遍的任务。在较深的模型层，特征会从通用的特征逐渐转换为更专业的特征。所以在迁移学习过程中，只需要Fine-tune针对特定数据集的那几层，如果全部微调反而会出现如过拟合或参数不平滑的问题。

上述针对大骨节X射线图像优化的分类模型搭建过程为：首先载入保守训练出的模型，之后冻结部分层的权重，根据上述Fine-tune原则，对VGG-16的后几层卷积进行Fine-tune，使用SGD算法优化参数，之后进行测试。如附图5，在进行Fine-tune参数时使用SGD算法。SGD(stochastic gradient descent，即随机梯度下降)将训练集分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个训练集。这样带来的好处是当fine-tune在很低的学习率下进行时，可以保证更新的幅度保持在较低的程度，以免破坏预训练的特征。

在一个具体的实施方式中，上述方式的优化方法步骤如下：

B1、将数据集分为训练集和测试集；

B2、载入保守训练中搭建的完整模型，并冻结底层(前几层卷积层)和全连接层；

B3、使用训练数据集对模型卷积层的后几层进行Fine-tune，且使用SGD优化参数；

B4、使用测试集测试结果，选择最优参数的模型保存。

3、类激活图可视化

卷积神经网络在进行训练时，常出现的问题就是需要通过特定的可视化，使人为调整参数的效率更高，减少冗余的训练过程。类激活图(CAM，class activation map)可视化是一种将神经网络重点关注了一张图像的那一部分呈现出来的方法，这就有助于当分类出现错误的时候，人为去调整模型参数或者指导神经网络的决策过程。同时，这种方法可以定位图像中的特定目标。

类激活图可视化是指输入图像生成类激活的热力图，是与特定输出类别相关的二维分数网格，对任何输入图像的每个位置都要进行计算，它表示每个位置对该类别的重要程度。举例来说，对于输入到猫狗分类卷积神经网络的一张图像，CAM可视化可以生成类别“猫”的热力图，表示图像的各个部分与“猫”的相似程度，CAM可视化也会生成类别“狗”的热力图，表示图像的各个部分与“狗”的相似程度。

本发明将使用的实现方式为：给定一张输入图像，对于一个卷积层的输出特征图，用类别相对于每一个通道的梯度对这个特征图中的每个通道进行加权。即：用“每个通道对类别的重要程度”对“输入图像对不同通道的激活强度”的空间图进行加权，从而得到了“输入图像对类别的激活强度”的空间图。

首先，载入图像及预处理：在图像上运行预训练的VGG16网络，并将其预测向量解码为人类可读的格式；之后使用Grad-CAM方法并将热力图标准化到0～1范围内，得到可视化图；最后生成一张图像，将原始图像叠加在刚刚得到的热力图上，得到最终叠加热力图。

通过类激活图可视化的方法，降低对网络训练的成本，理解网络在特征提取中更关注的部分，可以更明确的调整模型。此实验中可以更直观的看到神经网络为什么会认为这张图像中包含一个非正常的大骨节异变部位，以及它在图像中什么位置。

4、详细实验步骤：

首先设定一个基准的实验，即采用一种在产业界被广泛使用的图像分类算法；其次再确定使用CNN(卷积神经网络)以后，使用如图6的自定义神经网络模型，使用训练集对未使用迁移学习的自定义网络进行训练并调参，之后使用测试集进行测试；之后的实验分别采用基本思路和主要流程中详细描述的保守训练的大骨节分类模型和优化大骨节分类模型；最后，将实验中的优化大骨节分类模型中损失函数从基本交叉熵改进到自定义的增加平滑部分的损失函数，得到了最好的实验结果，从而得到了最终用来做进行大骨节异变图像识别和处理的分类模型。

基准实验SVM模型使用C++语言实现，其余神经网络模型使用python语言环境实现，训练和测试是在Keras+TensorFlow框架下完成的。为避免因软硬件环境造成的实验误差，四组神经网络实验组硬件环境均为：Intel Core i5-8400@2.80GHz六核，16GB内存；Nvidia GeForce GTX 1070 GPU,8GB显存；软件环境均为：CUDA Toolkit 9.0,CUDNN V7.0；Python 3.6.5；Tensorflow-GPU 1.9.0,Keras 2.2.4；Windows 10 64bit操作系统。实验数据采用人工标注分类的X光大骨节图像照片进行识别分类，总体样本数量为635张，其中正常手部样本117张,非正常手部负样本195张；正常足部正样本123张，非正常足部负样本200张。为了保证正负样本数量均衡，特选取120张正常足部图片作为正样本，其中训练集100，测试集20；选取120张非正常足部图片作为负样本，其中训练集100，测试集20，两部分的数据不存在交叉现象。

(1)基于SVM方法的小样本分类

在小样本分类问题中，SVM(支持向量机)的方法一直是主流，为了进行对比，本发明首先提取HOG特征，之后进行SVM分类器进行了实验。

具体流程如下：

1)对训练数据集进行预处理，考虑到HOG特征不具备旋转不变性，因样本的拍摄角度不一致，需要对图像进行方向归一化处理，选择特征比较明显的区域；

2)选择训练图像要使用的HOG特征，进行提取；

3)生成训练模型。将提取的HOG特征描述子存入训练集，先存放最后标签为正品的样本，后存放标签为次品的样本，通过SVM分类器进行分类，最后得到分类模型；

4)测试集预处理，将测试集按照与训练集同一批次和不同批次分别进行预处理；

5)用训练模型，根据特征向量，对测试集进行分类测试；

6)计算模型的准确率并分析结果，利用两种测试集的正确数量进行计算，可得到与训练集同一批次和不同批次的正确率，并分析误差原因。最后得到准确率为72.3％。

(2)基于自定义神经网络的小样本分类

自定义的神经网络结构如附图6所示。将128x128的图像作为输入尺寸，经过3次卷积，3次池化，完成Max Pooling后，将得到的数据“拍平”，丢入Flatten层，再把Flatten层的output放到dense层里，进行分类。

(3)基于迁移学习保守训练的分类

实验三中采用迁移学习保守训练，使用VGG-16的特征提取层对训练集进行特征提取，之后使用提取的特征训练适合大骨节异变分类的全连接层并调整参数，最后使用测试集进行测试。

(4)基于迁移学习优化的分类

为了优化模型，得到更优的基于迁移学习的分类模型，使用训练集将VGG-16卷积层的后几层进行微调，得到更适合大骨节异变分类的特征提取层参数，最后使用测试集进行测试。

(5)损失函数改进后的最终分类

在微调之后的网络中，分类使用softmax输出，损失函数(Loss Function)使用的是交叉熵函数，交叉熵函数的公式如下：

其中p_i是预测的分布，而q_i是真实的分布，i表示第几个样本。设Z为输出[z₁,z₂,z₃……]，那么

在最基本的损失函数处理过程中，模型为了降低Loss，最常做的事情就是使得

更加接近1，哪怕输入为噪音，分类的结果也几乎是非1即0，这就非常容易导致过拟合，还会使得我们在实际应用中没法很好地确定置信区间、设置阈值。

为了解决这个问题，使得模型更加平滑，本发明对微调后模型的损失函数进行改进，改为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

这样，盲目增加

接近1，就不再是最优解了，从而缓解softmax盲目自信和容易过拟合的情况。

(三)有益效果

对于图像分类问题，一般使用准确率(P)来测试分类模型性能，其中Ntotal为测试集中大骨节正品和次品样本图像的总数量，Nrec为测试集中大骨节正品和次品图像被准确分类的总数量。因此，准确率P可以用以下公式进行计算：

由于本发明中数据属于不公开数据，因此为了验证迁移学习在此问题上的有效性，本发明采用自身对比实验的方式。五组实验搭建的关于大骨节异变的分类器模型准确率对比如表1：

表1不同方法的准确率对比表

由于2度，特别是3度异变的X光图片数据量非常少，在正常、1度和2度组成的三分类数据集中设定每类训练集为36，测试集为16，使用迁移网络微调+损失函数优化方法来进行训练和测试，得到准确率为62.5％，由此可知，只需要获得更多适量的1度和2度X光图片数据，使用迁移网络微调+损失函数优化方法可以获得让人满意较高的三分类准确率；这也同样包括再获得更多适量的3度X光图片数据后，可以获得让人满意较高的四分类准确率。本发明所记载的用于针对X射线大骨节异常图像的识别和分类的技术方案，可以适用于例如大骨节病的图像判断或分类和识别等方面，具有良好的效果。

下面以具体的实验数据比对，对本发明技术方案的效果进行说明。

为证明迁移学习的有效性，设置实验包括实验一到实验六，训练样本314(正或负)×2(张)，测试集60(正或负)×2(张)。其中实验一为SVM分类模型，实验二为自定义卷积神经网络分类模型，以上两组实验为对比实验组。实验三为基于迁移学习思想的保守训练的分类模型，实验四为Fine-tune之后的分类模型，实验五和实验六分别对实验三、实验四中的损失函数进行优化。实验一和二为对比实验组，SVM方法在小样本二分类问题中，很长时间占着主导地位，在本实验中，通过HOG特征提取，训练出SVM分类器在测试集上的分类准确。实验二使用了传统意义上的神经网络分类器，即自定义网络，训练完整的属于此问题的参数模型，图8展示了实验二中训练误差(LOSS)和准确率(Accuracy)随训练次数的曲线。由图可知，传统神经网络在训练集上的LOSS大幅上下跌宕，随着迭代次数增加减少，最后准确率大约在75％上下浮动。传统神经网络分类器的准确率小于经典方法SVM分类，体现了传统卷积神经网络在小样本图像分类问题上的劣势，但LOSS和准确率的关系图可以看出，神经网络的参数调整对于分类准确率有非常大的影响，因此，更成熟的参数模型是解决传统神经网络缺点的关键。

为解决自定义神经网络产生的问题，实验三迁移VGG-16卷积神经网络的特征提取层，之后利用提取的图像特征，训练特定的分类器，并使用测试集进行测试。训练误差(LOSS)与准确率(Acc)如图9所示。可以看出，随着迭代次数，网络在训练集上的LOSS是先上升后在迭代次数10次左右剧烈下降，而测试集的LOSS先大幅下降，之后缓和下降，最后趋于稳定。当训练集和测试集LOSS趋于稳定时，准确率也趋于稳定。由此可知，通过迁移VGG-16网络的成熟参数，解决实验二中因盲目训练参数，造成的LOSS和ACC大幅度上下振荡的问题，得到了鲁棒性较强，稳定性高且准确率更高的分类模型。

实验四中使用实验三的模型，对特征提取层的后几层进行微调，希望得到更适合大骨节异变图像的分类模型。如图10，在前几次迭代中，因微调参数，造成了训练集和测试集的LOSS和ACC都大幅度跌宕，但整体上，LOSS都趋于下降，ACC趋于上升，在13次迭代左右，训练集和测试集的LOSS下降趋于稳定，且ACC准确率在此时也趋于稳定。与实验三结果相比，准确率更高，LOSS更小。说明神经网络模型在这个过程中，特征提取层更好的提取到属于大骨节异变图像的特征，识别了更准确的特征，使得分类结果更好，模型更优秀。

在实验五和六中，分别对实验三和四中的模型从基本交叉熵优化到自定义的增加平滑部分的损失函数，得到更高的准确率，且实验的LOSS曲线更加平滑，ACC曲线上升更加平稳，如图11和图12。

综上，在小样本二分类问题中的传统最优分类方法SVM分类器取得了72.3％的准确率，没有达到实际应用中的准确率要求，并很难改进。而传统自定义设计的神经网络对于小样本分类问题，因参数调整过程的不稳定使得误差和准确率大幅度上下波动，不稳定且有大量的冗余训练，造成耗时较长、准确率低的问题，只能达到75％的准确率。而通过迁移学习思想，将大规模数据集上训练好的网络提取层迁移到小样本问题上，并连接特定训练的分类器，使得冗余训练减少且准确率大幅度提升。并基于此，继续通过微调参数对模型进行优化及改进损失函数，最后达到了88.5％的准确率。证明了迁移学习在小样本大骨节异变图像分类的高效性和可行性。

此外，本发明的技术方案还可以通过以下系统的方式来实现，该系统可以执行如说明书中所述的基于迁移学习的X射线影像处理方法，具体而言，该系统包括：

X射线影像接收模块，用于接收输入的X射线影像数据；

X射线影像处理模块，利用优化模型，对所述X射线影像进行处理，并进行分类；所述优化模型通过以下方式获得：

建立VGG-16卷积神经网络，并基于X射线影像分类结果数量，放弃所述VGG-16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定全连接层，并获得完整模型；对所述完整模型进行优化，得到优化模型；

输出模块，接收所述X射线影像处理模块的输出数据，并输出分类结果。

优选地，所述系统还包括：

类激活图可视化处理模块，与所述X射线影像处理模块、输出模块连接，用于对所述优化模型进行类激活图可视化处理，并生成叠加热力图数据；

所述输出模块接收所述叠加热力图数据，并输出叠加热力图。

优选地，所述优化模型中，损失函数为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

优选地，所述类激活图可视化处理模块通过以下方式进行可视化处理：

在X射线影像上运行所述优化模型，并将其预测的向量解码为人工可读格式；生成热力图，并将所述热力图进行标准化，得到可视化图；基于所述可视化图生成图像，并将原始X射线影像图像叠加在可视化图生成的图像上，得到叠加热力图，从而实现类激活图可视化。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (5)

1.基于迁移学习的X射线影像处理方法，其特征在于，所述方法包括：

S1、构建VGG-16卷积神经网络；

S2、基于X射线影像分类结果数量，放弃所述VGG-16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定的全连接层，并获得完整模型；

S3、对所述完整模型进行优化，得到优化模型；

S4、利用所述优化模型，对X射线影像进行分类；

所述S2进一步包括：

S21、将所述VGG-16卷积神经网络去掉全连接层后，使用特征提取层对测试集和训练集图片进行特征提取并保存；

S22、构建X射线影像分类器，并载入S21中保存的所述特征，对参数进行训练和优化，得到特定的全连接层；

S23、将所述特征提取层与所述特定的全连接层进行搭建，形成完整模型；

所述S3进一步包括：

S31、针对所述完整模型，冻结卷积层的前M层及全连接层的权重；

S32、使用训练数据集对未冻结的卷积层进行Fine-tune，并进行参数优化；

S33、选择最优参数保存，得到优化模型；

所述S32中进一步包括，利用SGD方法进行参数优化，且每次更新仅适用一个batch的数据；

所述优化模型中，损失函数为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

2.根据权利要求1所述的方法，其特征在于，所述S4之前，还包括以下步骤：

S4’、对所述优化模型进行类激活图可视化处理；所述S4’进一步包括：

S4’1、在X射线影像上运行所述优化模型，并将其预测的向量解码为人工可读格式；

S4’2、生成热力图，并将所述热力图进行标准化，得到可视化图；

S4’3、基于所述可视化图生成图像，并将原始X射线影像图像叠加在可视化图生成的图像上，得到叠加热力图。

3.根据权利要求2所述的方法，其特征在于，所述S4’2中，得到可视化图通过以下方式进行：

对于输入的X射线影像，对于一个卷积层的输出特征图，用类别相对于每一个通道的梯度对所述输出特征图中的每个通道进行加权。

4.基于迁移学习的X射线影像处理系统，其特征在于，所述系统包括：

X射线影像接收模块，用于接收输入的X射线影像数据；

X射线影像处理模块，利用优化模型，对所述X射线影像进行处理，并进行分类；所述优化模型通过以下方式获得：

建立VGG-16卷积神经网络，并基于X射线影像分类结果数量，放弃所述VGG-16卷积神经网络中的全连接层，并对训练参数进行优化，得到特定全连接层，并获得完整模型；对所述完整模型进行优化，得到优化模型；

输出模块，接收所述X射线影像处理模块的输出数据，并输出分类结果；

类激活图可视化处理模块，与所述X射线影像处理模块、输出模块连接，用于对所述优化模型进行类激活图可视化处理，并生成叠加热力图数据；

所述输出模块接收所述叠加热力图数据，并输出叠加热力图。

5.根据权利要求4所述的系统，其特征在于，所述优化模型中，损失函数为：

其中，n为样本个数，ε为权重因子，Z为输出[z₁,z₂,z₃……]。

Images