CN112381178A - 一种基于多损失特征学习的医学影像分类方法 - Google Patents

Abstract

本发明公开基于多损失特征学习的医学影像分类方法，首先使用两个损失函数分别学习医学影像数据的全局和局部特征信息，利用高效的深层卷积神经网络模型对脱敏后的医疗大数据进行充分的特征学习，并通过设定的损失函数不断优化参数学习；通过选取合理的验证集数据对前向传播得到的学习器进行优化，直到最终分类器的预测值与医学标记的真值之间的平均绝对值误差小于给定的阈值或达到最大迭代次数，最终完成基于多损失的深度学习医学影像精确分类任务。本发明对于存在难样本学习和样本类间相似性高等问题的医学图像数据表现出较高的分类预测准确性和较好的算法鲁棒性，本发明可以应用于诸如全颌曲面断层片等类型的医学影像分类、预测和识别中。

Description

一种基于多损失特征学习的医学影像分类方法

技术领域

本发明涉及计算机视觉与深度学习分类方法领域，具体涉及一种基于多损失特征学习的医学影像分类方法，该方法可以快速准确的完成基于医学影像分类和骨龄预测工作。

背景技术

近年来，随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段。近年来，深度学习特别是深度卷积神经网络已经迅速发展成为医学图像分析的研究热点，它能够从医学图像大数据中自动提取隐含的疾病诊断特征。目前临床医学图像分析深度学习研究对象主要可分为6类医学图像，主要包括MRI图像、CT图像、X射线图像、超声成像、PET图像以及病理图像。其中，医学图像的分类与识别要求临床医生借助医学图像来辅助诊断人体是否有病灶，并对病灶的轻重程度进行量化分级，因此，自动识别图像中的病灶区域和正常组织器官是医学图像分析的基本任务。例如全颌曲面断层片医学影像数据，它在临床医学中常用于口腔正畸等临床工作，尤其在法医学中对于骨龄的判断有着重要的应用。通过使用深度学习等方法对全颌曲面断层片影像进行特征性学习，从而获取精确的骨龄推断，这对于医学有着重要的意义。

深度学习是由Hinton等于2006年提出，首先提出的是自动编码的多层次结构模型，Sermanet提出卷积神经网络，不同于设定SIFT，HOG，SURF等图像特征的分类算法，深度学习利用设定好的网络结构，完全从训练数据中学习图像的层次结构特征，能够更加接近图像高级语义的抽象特征。然而，由于卷积神经网络的学习过程是黑盒的，在面对具有难学特征的样本时，无法很好地习得具有区分性的特征区域，因此往往产生差强人意的分类结果。为了解决卷积神经网络在分类问题中存在的不足，2018年Deng等提出ArcFace方法，改进了对特征向量归一化和加性角度间隔，提高了类间可分性同时加强类内紧密度和类间差异性，在处理包含难样本的人脸识别和验证任务中，都展示了极好的效果。然而，在实际的医学影像数据集中，数据中存在的难样本分布是不确定的，同时由于骨骼发育存在连续性，过度关注难样本特征学习的分类器无法很好地保持迁移性。尤其是当采用上述损失函数的特征学习方法进行诸如全颌曲面断层片等类型的高密度型医学影像数据分类时，分类预测的效果并不是很理想。

发明内容

本发明在上述方法的基础上，本发明的目的在于提供一种准确、鲁棒的基于多损失特征学习的医学影像分类方法，通过使用基于平衡损失的特征学习方法，即在全局特征学习层面保持数据集整体的特征学习，又将学得的难样本中的局有区分性的特征信息加入到基于多损失特征学习的口腔医学影像分类算法中，在处理存在难样本学习和样本类间相似性高等问题的口腔医学图像具有较高的分类预测准确性和较好的算法鲁棒性，使得最终分类预测结果具有更好的精确性和鲁棒性。

为达到上述目的，本发明采用如下技术方案：

一种基于多损失特征学习的医学影像分类方法，首先对数据中存在的特征进行图像增强，保证分类器可以进行充分的特征学习，使其在整个数据集中保持品质鲁棒性，然后使用设定的损失函数提取数据中相对稳定且具有区分性的特征信息，将特征学习结果融入神经网络的反向传播迭代算法中，对分类器性能进行不断优化，具体包括如下步骤：

1)按照口腔医学数据的统计分布规律将数据集划分为训练集、验证集和测试集，数据包含脱敏的医学影像的X-Ray图像数据与标签；提取训练集中相对稳定的医学特征信息：对于医学影像中存在的噪声点和难学习的影像学特征，使用随机裁剪、中心对称等方法进行数据增强，增强深层卷积网络模型的特征学习能力，使用随机乱序的方法增强数据选取的随机性，保证分类器能够识别充足的样本特征；通过使用深层卷积神经网络的前向传播方法，在得到医学样本中的全局特征和局部特征同时，输出每个样本学得的特征权重；

2)根据基于多损失的深度学习医学影像分类算法和步骤1所得到的特征信息、特征权重，建立可以充分学习全局与局部特征的多损失目标函数；多损失目标函数如下：

其中，N为一次训练所选取的样本数，其大小影响模型的优化程度和速度，同时直接影响到GPU内存的使用情况，假定待分类的样本类别有Y组，则

代表第y个类别学得的特征向量，s和m则是提出的学习局部特征的损失部分的参数，它们的取值取决于待分类的类别和分类的难易程度；k₁和k₂则是平衡参数，负责全局和局部特征的学习，最终可使得分类器进行更好的特征学习；

3)由于神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活函数也要保证连续可微，阶跃函数在0点不连续，且在除零点外导数都为0，因此在神经网络的层与层之间，添加非线性的激活函数，用以保证任意两层神经网络可以逼近任意复杂的函数，防止出现梯度消失问题，考虑神经网络实现过程中对于收敛速度、计算效率以及特征挖掘能力的要求，在激活函数方面选择使用线性整流激活函数(ReLU)，函数如下：

f(x)＝max(0,x)

其中，x代表进入卷积网络神经元的来自上一层神经网络的输入向量，通过使用线性整流激活函数(ReLU)，计算后结果会输出至下一层神经元，或者作为整个神经网络的输出；

4)根据对问题的建模以及评估，利用预测值与真值间的平均绝对值损失来进行分类预测的参数优化；分别使用Se-ResNext101、EfficientNet族网络等深层网络模型进行特征学习，迭代上述的步骤2和步骤3，直到预测值与真值间的平均绝对值误差小于给定的阈值或达到最大迭代次数；根据迭代完成后得到的分类器，对测试集中的医学数据进行类别预测，最终完成基于多损失的深度学习医学影像分类。

步骤1)的方法具体包括如下步骤：

1.1)在配置训练、验证和测试数据集的过程中，做出正确决策会在很大程度上帮助模型维持高效的学习结果，在训练神经网络之前，按照口腔医学数据的统计分布规律将数据集划分为训练集、验证集和测试集，数据包含脱敏的医学影像的X-Ray图像数据与标签。在机器学习发展的数据处理时代，常见的做法是将数据分为三七分，在这里，为了保持训练集、验证集、测试集的采样保持统一分布区，本发明采用等比例随机抽样的方法，保持样本的随机性以及相互独立性，采用80％训练集、10％验证集和10％测试集的策略划分整体样本；

1.2)为了保持卷积神经网络能够无对图像的学习保持移位、视角、大小、照明等的不变性，则该网络是较为鲁棒且迁移性较高的。取训练集中相对稳定的医学特征信息：对于医学影像中存在的噪声点和难学习的影像学特征，使用随机裁剪、中心对称等方法进行数据增强，增强深层卷积网络模型的特征学习能力，使用随机乱序的方法增强数据选取的随机性；

1.3)深度前馈网络通常被称为网络，其模通常与一个有向无环图相关联，而图则是描述了函数是如何复合在一起的，通过对原来的凸优化形式的线性优化问题添加非线性操作，使用深层卷积神经网络的前向传播方法，部署网络在学习中所需的每个设计决策，在得到医学样本中的全局特征和局部特征同时，可以从隐层网络输出每个样本学得的特征权重。

步骤2)的方法具体包括如下步骤：

2.1)算法关心的损失函数并不能被高效地优化，即使对于线性分类器而言，精确地最小化0-1损失通常是不可解的，在这种情况下，本发明选择优化代理损失函数；

2.2)由于训练算法通常不会停止在局部极小点，基于提前终止的收敛条件，提出了基于多损失的深度学习医学影像分类损失函数，其通过与步骤1所得到的特征信息、特征权重结合优化，可以建立能够充分学习全局与局部特征的多损失目标函数，优化网络模型性能。

步骤3)的方法具体包括如下步骤：

3.1)使用一个神经网络时，需要决定使用哪种激活函数在隐藏层上，哪种用在输出节点上。Sigmoid函数和tanh函数共同的缺点是在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。因此选择使用修正线性单元函数(ReLu)，只要z是正值的情况下，导数恒等于1；当z是负值的时候，导数恒等于0.从实际上来说，当使用z的导数时，z＝0的导数是没有定义的。

3.2)选择ReLu激活函数的常数，在这里将常数定为0，使得网络有足够的隐藏层能够使得z值大于0，这样会大多数的训练数据来说，学习过程仍然可以很快。

步骤4)的方法具体包括如下步骤：

4.1)设置学习策略以及误差评估标准，鉴于医生使用平均绝对值误差(MAE)，为了与医生的实验结果保持对照实验，采用MAE作为误差评估标准，利用预测值与真值之间的平均绝对值误差来进行分类预测函数的优化；

4.2)对比不同卷积神经网络性能，根据当前学习特征，选择使用Se-ResNext101、EfficientNet族网络等深层网络模型进行特征学习模型与验证模型。

本发明的技术效果：

本发明采用基于多损失特征学习的深度学习分类方法，提取医学影像数据集的特征信息，然后利用特征信息在迭代学习过程中不断更新深度学习的网络参数，最终得到精确的口腔医学影像分类器。

本发明利用来自西安交通大学口腔医学院的全颌曲面断层片作为数据来源，通过数据预处理、多个单模型的网络训练、基于多种损失的深度学习分类网络训练等步骤，完成对全颌曲面断层片影像测试集数据的类别预测工作。由于相邻年龄的全颌曲面断层片影像数据在类别间具有非常高的相似性，各个单模型的判别结果不稳定且精度有限，所以使用多损失特征学习的方法可以很好的对全颌曲面断层片进行高精度的分类学习，最终完成测试集数据的预测工作。另外，针对全颌曲面断层片中存在的难样本特征学习问题，使用步骤2的基于多损失特征学习的深度学习分类方法可以很好的进行医学数据的特征提取，进而提高卷积神经网络模型的分类准确度。因此可以实现图像的鲁棒而精准的分类的功能。相比于传统的卷积神经网络的分类算法，本发明充分利用了口腔医学影像的生物学特征，即人体发育中存在骨骼连续性，以及特征学习的稳定性改进，提高了口腔医学数据分类和预测的准确性。

附图说明

图1为基于多损失特征学习的口腔医学影像分类方法的总体框图。

图2为待识别的11岁病患(1)和14岁病患(2)的全颌曲面断层片图像。

图3为待识别的11岁病患(1)和14岁病患(2)的全颌曲面断层片图像局部特征，是对图2中具有区分性特征区域的放大。

图4为普通方法与提出的基于多损失特征学习的口腔医学影像分类方法结果的热力图。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细描述。

如图1所示，一种基于多损失特征学习的医学影像分类方法，具体包括如下步骤：

步骤1：图像数据增强：

该步骤对全颌曲面断层片数据集的数据增强主要分为以下几步：

1)获取所需要的进行数据增强的图像数据。

2)定义图像变换器，将整个图像变换器定义为适配器模式，定义数据增强方法功能和调用PyTorch框架底层代码功能的独立接口，通过变换器，实现图像数据增强方法的可插拔性，整个图像数据增强方法鲁棒可靠。

3)规整数据增强方法策略。由于原始图像数据是X-Ray格式的医学影像，因此无法很好地进行颜色变化等数据增强方法，考虑到人的牙槽骨及牙齿本身带有的特征密集性，采用裁剪和翻转等刚体变化方式的数据增强。

4)保持训练数据、验证数据和测试数据执行相同的数据增强方法。

步骤2：提取原始数据的特征性信息，其中实验用到的所有分类器遵循的损失函数表述如下所示：

其中，N为一次训练所选取的样本数，其大小影响模型的优化程度和速度，同时直接影响到GPU内存的使用情况。

是第y个类别学得的特征向量。s和m则是提出的学习局部特征的损失部分的参数，它们的取值取决于待分类的类别和分类的难易程度；k₁和k₂则是平衡参数，负责全局和局部特征的学习，最终可使得分类器进行更好的特征学习；

步骤3：计算预测值和真值之间的差值。考虑神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活函数也要保证连续可微，阶跃函数在0点不连续，且在除零点外导数都为0，因此在神经网络的层与层之间，添加非线性的激活函数，用以保证任意两层神经网络可以逼近任意复杂的函数，防止出现梯度消失问题。鉴于神经网络实现过程中对于收敛速度、计算效率以及特征挖掘能力的要求，在激活函数方面选择使用线性整流激活函数(ReLU)，函数如下：

f(x)＝max(0,x)

其中，x代表进入卷积网络神经元的来自上一层神经网络的输入向量，通过使用线性整流激活函数(ReLU)，计算后结果会输出至下一层神经元，或者作为整个神经网络的输出。在对网络的整体训练规则进行优化后，设定评估预测值和真值之间的误差的标准。由于最终的预测值是以属于[5,24]区间的正整数形式呈现的，为了避免误差相互抵消问题，采用平均绝对值误差来衡量差值，通过衡量每个样本的预测值与真值偏差的绝对值的平均，反映实际预测误差的大小。计算预测值和真值之间的平均绝对值误差公式定义如下：

其中，pred_i代表第i个样本的预测值，gt_i代表第i个样本的真值标签值。

步骤4：根据设定的特征学习方式和训练策略，进行卷积神经网络的分类模型训练，不断迭代，并通过反向传播促进参数更新。为了使用动量和自适应学习率加快收敛速度，采用Adam算法。它是可以代替经典的随机梯度下降法、有效更新网络权重的优化迭代算法。通过设定梯度的对角线重缩放不变，优化了动量在学习过程中的收敛。同时，它对于内存有着较少的需求，非常适合应用于嘈杂或梯度稀疏的问题下，超参数的迭代收敛。Adam算法的计算t时间的梯度规则如下：

g_t＝▽_θJ(θ_t-1)

其中，t为时间步。类似于Momentum算法，Adam算法综合考虑之前时间步的梯度动量。

步骤5：迭代上述的步骤4，直到每个样本的预测值与真值标签之间的平均绝对值误差小于给定的阈值或达到最大迭代次数；根据迭代完成后得到的最佳卷积神经网络分类模型，对测试集数据进行预测评估，最终完成整个医学影像数据集的精确年龄预测任务。

Claims (5)

1.一种基于多损失特征学习的医学影像分类方法，其特征在于：通过设计的分类损失函数，提取医学影像数据中相对稳定的全局特征信息和局部特征信息，随后利用深层卷积神经网络模型，将特征学习结果迭代更新到参数的学习过程中；

具体包括如下步骤：

1)按照口腔医学数据的统计分布规律将数据集划分为训练集、验证集和测试集，数据包含脱敏的医学影像的X-Ray图像数据与标签；提取训练集中相对稳定的医学特征信息：对于医学影像中存在的噪声点和难学习的影像学特征，使用随机裁剪、中心对称等方法进行数据增强，增强深层卷积网络模型的特征学习能力，使用随机乱序的方法增强数据选取的随机性，保证分类器能够识别充足的样本特征；通过使用深层卷积神经网络的前向传播方法，在得到医学样本中的全局特征和局部特征同时，输出每个样本学得的特征权重；

2)根据基于多损失的深度学习医学影像分类算法和步骤1所得到的特征信息、特征权重，建立可以充分学习全局与局部特征的多损失目标函数；多损失目标函数如下：

其中，N为一次训练所选取的样本数，其大小影响模型的优化程度和速度，同时直接影响到GPU内存的使用情况，假定待分类的样本类别有Y组，则

代表第y个类别学得的特征向量，s和m则是提出的学习局部特征的损失部分的参数，它们的取值取决于待分类的类别和分类的难易程度；k₁和k₂则是平衡参数，负责全局和局部特征的学习，最终可使得分类器进行更好的特征学习；

3)由于神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活函数也要保证连续可微，阶跃函数在0点不连续，且在除零点外导数都为0，因此在神经网络的层与层之间，添加非线性的激活函数，用以保证任意两层神经网络可以逼近任意复杂的函数，防止出现梯度消失问题，考虑神经网络实现过程中对于收敛速度、计算效率以及特征挖掘能力的要求，在激活函数方面选择使用线性整流激活函数(ReLU)，函数如下：

f(x)＝max(0,x)

其中，x代表进入卷积网络神经元的来自上一层神经网络的输入向量，通过使用线性整流激活函数(ReLU)，计算后结果会输出至下一层神经元，或者作为整个神经网络的输出；

4)根据对问题的建模以及评估，利用预测值与真值间的平均绝对值损失来进行分类预测的参数优化；分别使用Se-ResNext101、EfficientNet族网络等深层网络模型进行特征学习，迭代上述的步骤2和步骤3，直到预测值与真值间的平均绝对值误差小于给定的阈值或达到最大迭代次数；根据迭代完成后得到的分类器，对测试集中的医学数据进行类别预测，最终完成基于多损失的深度学习医学影像分类。

2.根据权利要求1所述的一种基于多损失特征学习的医学影像分类方法，所述的步骤1)包括如下步骤：

1.1)在配置训练、验证和测试数据集的过程中，做出正确决策会在很大程度上帮助模型维持高效的学习结果，在训练神经网络之前，按照口腔医学数据的统计分布规律将数据集划分为训练集、验证集和测试集，数据包含脱敏的医学影像的X-Ray图像数据与标签，在机器学习发展的数据处理时代，常见的做法是将数据分为三七分，在这里，为了保持训练集、验证集、测试集的采样保持统一分布区，本发明采用等比例随机抽样的方法，保持样本的随机性以及相互独立性，采用80％训练集、10％验证集和10％测试集的策略划分整体样本；

1.2)为了保持卷积神经网络能够无对图像的学习保持移位、视角、大小、照明等的不变性，则该网络是较为鲁棒且迁移性较高的，取训练集中相对稳定的医学特征信息：对于医学影像中存在的噪声点和难学习的影像学特征，使用随机裁剪、中心对称等方法进行数据增强，增强深层卷积网络模型的特征学习能力，使用随机乱序的方法增强数据选取的随机性；

1.3)深度前馈网络通常被称为网络，其模通常与一个有向无环图相关联，而图则是描述了函数是如何复合在一起的，通过对原来的凸优化形式的线性优化问题添加非线性操作，使用深层卷积神经网络的前向传播方法，部署网络在学习中所需的每个设计决策，在得到医学样本中的全局特征和局部特征同时，可以从隐层网络输出每个样本学得的特征权重。

3.根据权利要求1所述的一种基于多损失特征学习的医学影像分类方法，所述的步骤2)包括如下步骤：

2.1)算法关心的损失函数并不能被高效地优化，即使对于线性分类器而言，精确地最小化0-1损失通常是不可解的，在这种情况下，本发明选择优化代理损失函数；

2.2)由于训练算法通常不会停止在局部极小点，基于提前终止的收敛条件，提出了基于多损失的深度学习医学影像分类损失函数，其通过与步骤1所得到的特征信息、特征权重结合优化，可以建立能够充分学习全局与局部特征的多损失目标函数，优化网络模型性能。

4.根据权利要求1所述的一种基于多损失特征学习的医学影像分类方法，所述的步骤3)包括如下步骤：

3.1)使用一个神经网络时，需要决定使用哪种激活函数在隐藏层上，哪种用在输出节点上，Sigmoid函数和tanh函数共同的缺点是在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度，因此选择使用修正线性单元函数(ReLu)，只要z是正值的情况下，导数恒等于1；当z是负值的时候，导数恒等于0.从实际上来说，当使用z的导数时，z＝0的导数是没有定义的；

3.2)选择ReLu激活函数的常数，在这里将常数定为0，使得网络有足够的隐藏层能够使得z值大于0，这样会大多数的训练数据来说，学习过程仍然可以很快。

5.根据权利要求1所述的一种基于多损失特征学习的医学影像分类方法，所述的步骤4)包括如下步骤：

4.1)设置学习策略以及误差评估标准，鉴于医生使用平均绝对值误差MAE，为了与医生的实验结果保持对照实验，采用MAE作为误差评估标准，利用预测值与真值之间的平均绝对值误差来进行分类预测函数的优化；

4.2)对比不同卷积神经网络性能，根据当前学习特征，选择使用Se-ResNext101、EfficientNet族网络等深层网络模型进行特征学习模型与验证模型。

Images