CN115294386B - 一种基于正则化监督损失函数的图像分类方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于正则化监督损失函数的图像分类方法，该方法首先利用构建好的分类模型对训练图像提取特征，通过网络中的分类器与Softmax层将特征转化为输出概率值；然后基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；最后，计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，利用训练后的网络对测试图像进行分类决策。本发明公开的方法能够使监督损失函数在训练图像数据集上避免过拟合，从而提高网络的泛化性能。

Description

一种基于正则化监督损失函数的图像分类方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于正则化监督损失函数的图像分类方法。

背景技术

图像的自动分类识别是计算机视觉研究领域中的一个重要的基础性课题，其在诸如安防系统的智能监控、零售中的商品识别、交通系统智能监控等社会生活和生产方方面面都发挥着重要作用。近年来，随着大规模的数据以及高性能的计算机的出现，深度学习技术使得该领域取得了长足发展。ImageNet等标准图像测试数据集上的分类性能不断被刷新，甚至已经接近人类识别的性能。

深度卷积神经网络是深度学习技术中最具代表性的模型之一，同时又是在图像分类领域中被应用最为广泛的模型。这种神经网络模型通过逐层的特征变换来组合低层特征来形成抽象的高层表示，并基于某种损失函数利用梯度下降算法对模型中的大量参数进行优化完成图像的分类识别。在网络结构相同的情况下，如何定义损失函数是提高图像分类识别性能的关键要素。目前，深度卷积网络中最常用的损失函数为Softmax损失函数，该函数将Softmax函数与交叉熵损失函数相结合，通过最小化图像的Softmax类别概率预测值与其标签值之间的差异对网络中的参数进行优化。然而，这种损失函数的缺点在于其更关注于图像类别之间的类间距离，从而忽略了图像样本之间的类内距离。

为此，Liu等(Liu W,Wen Y,YuZ,et al.Large-Margin Softmax Loss forConvolutional NeuralNetworks[C]//ICML.2016:507-516.)提出L-Softmax损失函数，该方法Softmax损失函数中样本与分类器中的每类权重向量之间距离计算的位置引入间隔参数，从而达到增大类间距离和减小类内距离的目的；Liu等(Liu W,Wen Y,Yu Z,etal.Sphereface:Deep hypersphere embedding for face recognition[C]//The IEEEConference on Computer Vision and Pattern Recognition，CVPR，2017)提出A-softmax损失函数，该算法对分类器中的权重向量进行了归一化的约束，从而达到增强特征的区分度的目的；Ranjan等(Ranjan R,Castillo C D,Chellappa R.L2-constrained softmaxloss for discriminative face verification[J].arXiv preprint arXiv:1703.09507,2017.)又进一步对卷积神经网络中提取的特征进行归一化约束，从而提出L2范数约束的softmax损失函数。最近，Khosla等(P Khosla，P Teterwak，C Wang，A Sarna，Y Tian，PIsola，A Maschinot，C Liu，D Krishnan.Supervised Contrastive Learning.NIPS20.)提出监督对比学习损失函数，该方法通过减小样本特征之间的类内距离和增大类间距离达从而完成网络参数的优化，能够弥补Softmax损失函数的缺点。然而目前的监督损失函数都是从减小经验损失函数的目的出发设计的，存在在训练数据集上过拟合的缺点，从而降低了模型的泛化性能。

为了解决上述问题，本发明提供了一种基于正则化监督损失函数的图像分类方法。

发明内容

针对以上问题，本发明提供了一种基于正则化监督损失函数的图像分类方法，在使用监督损失函数对卷积神经网络进行训练时，避免在训练集出现过拟合，提高网络的泛化性能。

为了实现上述目的，本发明采用的技术方案如下：

一种基于正则化监督损失函数的图像分类方法，包括以下步骤：

步骤1：分类模型的构建；分类模型由4个特征提取单元、全连接层、分类器以及Softmax层组成；

步骤2：训练图像的特征提取以及分类；在训练图像数据集中随机选择一批图像依次输入到特征提取单元和全连接层提取图像卷积特征，然后全连接层对卷积特征进行转换，输入到分类器中得到分类分值，最后Softmax层将分类分值转化为概率输出值；

步骤3：正则化Softmax损失函数的计算；基于步骤2所得的概率输出值与图像真实标签值计算Softmax损失函数以及正则化因子，从而得到正则化Softmax损失函数；

步骤4，正则化监督对比损失函数的计算；基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；

步骤5：网络的训练与测试；计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，固定优化后网络中的参数，在线采集图像，输入到网络中得到图像的类别预测值。

优选地，在步骤1中，分类模型的构建的具体步骤如下：

S11：分类模型中每个特征提取单元是由卷积残差块和注意力模块组成的，每个特征提取单元中卷积残差块的数目分别为3，4，6，3，每个残差块由3个卷积层组成的，注意力模块采用SENet注意力机制；第一个特征提取单元被表示为R_θ1(·)，每个卷积层中卷积核的数目分别为64，64，256；第二个特征提取单元被表示为R_θ2(·)，每个卷积层中卷积核的数目分别为128，128，512；第三个特征提取单元被表示为R_θ3(·)，每个卷积层中卷积核的数目分别为256，256，1024；第四个特征提取单元被表示为R_θ4(·)，每个卷积层中卷积核的数目分别为512，512，2048，θ₁，θ₂，θ₃，θ₄为特征提取单元中参数；

S12：分类模型中全连接层表示为神经元的数目为1000，将平均池化的卷积特征转化为1000维的特征；

S13：分类模型中的分类器表示为C_w(·)，将步骤S12中的图像特征转化为分类分值；

S14：分类模型中的Softmax层表示为S(·)，将步骤S13中的分类分值转化为概率输出值。

优选地，在步骤2中，训练图像的特征提取以及分类过程的具体步骤如下：

S21：在训练数据集中随机抽取一批图像，该批图像的数目为L，其中任意一幅图像被表示为x_i，该图像对应的分类标签表示为y_i；

S22：将图像x_i输入到分类模型的第一个特征提取单元，得到z_i1＝R_θ1(x_i)，随后将z_i1输入到第二个特征提取单元得到z_i2＝R_θ2(z_i1)，之后将z_i2输入到第三个特征提取单元得到z_i3＝R_θ3(z_i2)，最后将z_i3输入到第四个特征提取单元得到图像的卷积特征z_i4＝R_θ4(z_i3)；

S23：将步骤S22得到的图像卷积特征z_i4经过平均池化操作后被输入到全连接层得到图像特征

S24：将步骤S23得到的图像特征z_i输入到全连接层得到分类分值c_i＝C_w(z_i)：

S25：步骤S24得到的分类分值c_i经过Softmax层得到图像的类别概率输出值

优选地，在步骤3中，正则化Softmax损失函数的计算过程如下：

S31：步骤2中得到概率输出值与真实标签值y_i之间Softmax损失函数的计算公式为：

其中，M为图像的类别总数，y_ij表示真实标签y_i的第j个分量，表示概率输出值/>的第j个分量，w_j表示分类器参数矩阵中的j个权重向量；

S32：步骤2中得到概率输出值与真实标签值y_i之间正则化因子的计算公式为：

其中，w_k表示分类器参数矩阵中的除j个权重向量以外的任意权重向量，α为可调参数；

S33：步骤2中得到概率输出值与真实标签值y_i之间正则化Softmax损失函数的计算公式为：

优选地，在步骤4中，正则化监督对比损失函数的计算过程的具体步骤如下：

S41：以步骤2得到的图像特征z_i作为锚点，在此批图像中所有样本特征组成的集合为A(i)，在集合A(i)中索引得到与其类别标签相同的样本特征组成正例样本集合p(i)，集合P(i)的样本特征的数目为P，在集合A(i)中索引得到与其类别标签不相同的样本特征组成负例样本集合N(i)，集合N(i)的样本特征的数目为N，则监督对比学习损失函数的计算公式为：

S42：以步骤2得到的图像特征z_i作为锚点，则正则化因子的计算公式为：

其中，z_p为集合P(i)中的第p个样本特征，z_n为集合N(i)中的第n个样本特征，z_a为集合A(i)中的第a个样本特征，β为可调参数；

S43：正则化监督对比损失函数的计算公式为：

优选地，在步骤5中，网络的训练与测试过程的具体步骤如下：

S51：对网络中参数进行优化的总的损失函数为：

其中，γ为可调的权重参数，基于上式利用梯度下降法对网络中的优化网络中的参数；

S52：完成网络的训练后，固定网络中的参数θ₁，θ₂，θ₃，θ₄，w，在线采集测试图像输入到网络中，经过特征提取单元和全连接层得到图像x的特征表示为：

则图像x的最终的类别预测值表示为：

本发明有益效果：

本发明使用正则化Softmax损失函数和正则化监督对比损失函数对网络中的参数进行优化，其中正则化Softmax损失函数通过正则化因子增加样本与分类器中的每类权重向量之间距离，正则化的监督对比损失函数通过增大每类样本特征之间的类内距离，从而避免过拟合，能够提高网络的泛化性能。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，一种基于正则化监督损失函数的图像分类方法，包括以下步骤：

步骤1：构建分类模型；分类模型主要由特征提取单元R_{θ1,θ2,θ3,θ4}(·)，全连接层分类器C_w(·)以及Softmax层S(·)组成；

具体的，该步骤1中，分类模型的构建的具体步骤如下：

S11：分类模型中每个特征提取单元是由卷积残差块和注意力模块组成的，每个特征提取单元中卷积残差块的数目分别为3，4，6，3，每个残差块由3个卷积层组成的，注意力模块采用SENet注意力机制；第一个特征提取单元被表示为R_θ1(·)，每个卷积层中卷积核的数目分别为64，64，256；第二个特征提取单元被表示为R_θ2(·)，每个卷积层中卷积核的数目分别为128，128，512；第三个特征提取单元被表示为R_θ3(·)，每个卷积层中卷积核的数目分别为256，256，1024；第四个特征提取单元被表示为R_θ4(·)，每个卷积层中卷积核的数目分别为512，512，2048，θ₁，θ₂，θ₃，θ₄为特征提取单元中参数；

S12：分类模型中全连接层表示为神经元的数目为1000，将平均池化的卷积特征转化为1000维的特征；

S13：分类模型中的分类器表示为C_w(·)，将步骤S12中的图像特征转化为分类分值；

S14：分类模型中的Softmax层表示为S(·)，将步骤S13中的分类分值转化为概率输出值。

步骤2：训练图像的特征提取以及分类；图像x_i依次输入到分类模型的4个特征提取单元，得到图像的卷积特征z_i4＝R_{θ1,θ2,θ3,θ4}(x)，图像卷积特征z_i4经过平均池化操作后被输入到全连接层得到图像特征经过全连接层得到分类分值c_i＝C_w(z_i)，经过Softmax层得到图像的类别概率输出值/>

具体的，该步骤2中，训练图像的特征提取以及分类过程的具体步骤如下：

S21：在训练数据集中随机抽取一批图像，该批图像的数目为L，其中任意一幅图像被表示为x_i，该图像对应的分类标签表示为y_i；

S22：将图像x_i输入到分类模型的第一个特征提取单元，得到z_i1＝R_θ1(x_i)，随后将z_i1输入到第二个特征提取单元得到z_i2＝R_θ2(z_i1)，之后将z_i2输入到第三个特征提取单元得到z_i3＝R_θ3(z_i2)，最后将z_i3输入到第四个特征提取单元得到图像的卷积特征z_i4＝R_θ4(z_i3)；

S23：将步骤S22得到的图像卷积特征z_i4经过平均池化操作后被输入到全连接层得到图像特征

S24：将步骤S23得到的图像特征z_i输入到全连接层得到分类分值c_i＝C_w(z_i)：

S25：步骤S24得到的分类分值c_i经过Softmax层得到图像的类别概率输出值

步骤3：正则化Softmax损失函数的计算；计算概率输出值与真实标签值y_i之间Softmax损失函数/>以及正则化因子/>得到正则化Softmax损失函数/>

具体的，该步骤3中，正则化Softmax损失函数的计算过程如下：

S31：步骤2中得到概率输出值与真实标签值y_i之间Softmax损失函数的计算公式为：

其中，M为图像的类别总数，y_ij表示真实标签y_i的第j个分量，表示概率输出值/>的第j个分量，w_j表示分类器参数矩阵中的j个权重向量；

S32：步骤2中得到概率输出值与真实标签值y_i之间正则化因子的计算公式为：

其中，w_k表示分类器参数矩阵中的除j个权重向量以外的任意权重向量，α为可调参数；

S33：步骤2中得到概率输出值与真实标签值y_i之间正则化Softmax损失函数的计算公式为：

步骤4：正则化监督对比损失函数的计算；基于样本的类别标签计算样本特征之间监督对比失函数以及正则化因子/>得到正则化Softmax损失函数/>

具体的，该步骤4中，正则化监督对比损失函数的计算过程的具体步骤如下：

S41：以步骤2得到的图像特征z_i作为锚点，在此批图像中所有样本特征组成的集合为A(i)，在集合A(i)中索引得到与其类别标签相同的样本特征组成正例样本集合p(i)，集合P(i)的样本特征的数目为P，在集合A(i)中索引得到与其类别标签不相同的样本特征组成负例样本集合N(i)，集合N(i)的样本特征的数目为N，则监督对比学习损失函数的计算公式为：

S42：以步骤2得到的图像特征z_i作为锚点，则正则化因子的计算公式为：

其中，z_p为集合P(i)中的第p个样本特征，zn为集合N(i)中的第n个样本特征，z_a为集合A(i)中的第a个样本特征，β为可调参数；

S43：正则化监督对比损失函数的计算公式为：

步骤5：网络的训练与测试；计算对网络进行优化的总的损失函数利用梯度下降法完成对网络的训练，固定网络中的参数固定网络中的参数θ₁，θ₂，θ₃，θ₄，/>w，在线采集测试图像x输入到网络中，经过特征提取单元和全连接层得到图像的特征z，网络中的分类器和Softmax层输出图像的最终预测值/>

具体的，该步骤5中，网络的训练与测试过程的具体步骤如下：

S51：对网络中参数进行优化的总的损失函数为：

其中，γ为可调的权重参数，基于上式利用梯度下降法对网络中的优化网络中的参数；

S52：完成网络的训练后，固定网络中的参数θ₁，θ₂，θ₃，θ₄，w，在线采集测试图像输入到网络中，经过特征提取单元和全连接层得到图像x的特征表示为：

则图像x的最终的类别预测值表示为：

综上所述，本发明使用正则化Softmax损失函数和正则化监督对比损失函数对网络中的参数进行优化，其中正则化Softmax损失函数通过正则化因子增加样本与分类器中的每类权重向量之间距离，正则化的监督对比损失函数通过增大每类样本特征之间的类内距离，从而避免过拟合，能够提高网络的泛化性能。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (4)

1.一种基于正则化监督损失函数的图像分类方法，其特征在于，包括以下步骤：

步骤1：分类模型的构建；分类模型由4个特征提取单元、全连接层、分类器以及Softmax层组成；

步骤2：训练图像的特征提取以及分类；在训练图像数据集中随机选择一批图像依次输入到特征提取单元和全连接层提取图像卷积特征，然后全连接层对卷积特征进行转换，输入到分类器中得到分类分值，最后Softmax层将分类分值转化为概率输出值；

步骤3：正则化Softmax损失函数的计算；基于步骤2所得的概率输出值与图像真实标签值计算Softmax损失函数以及正则化因子，从而得到正则化Softmax损失函数；

步骤4，正则化监督对比损失函数的计算；基于样本的类别签值计算样本特征之间的监督对比损失函数以及正则化因子，从而得到正则化监督对比损失函数；

步骤5：网络的训练与测试；计算正则化Softmax损失函数和正则化监督对比损失函数的加权和作为总的损失函数对网络中的参数进行优化，固定优化后网络中的参数，在线采集图像，输入到网络中得到图像的类别预测值；

在步骤3中，正则化Softmax损失函数的计算过程如下：

S31：步骤2中得到概率输出值与真实标签值y_i之间Softmax损失函数的计算公式为：

其中，M为图像的类别总数，y_ij表示真实标签y_i的第j个分量，表示概率输出值/>的第j个分量，w_j表示分类器参数矩阵中的j个权重向量；

S32：步骤2中得到概率输出值与真实标签值y_i之间正则化因子的计算公式为：

其中，w_k表示分类器参数矩阵中的除j个权重向量以外的任意权重向量，α为可调参数；

S33：步骤2中得到概率输出值与真实标签值y_i之间正则化Softmax损失函数的计算公式为：

在步骤4中，正则化监督对比损失函数的计算过程的具体步骤如下：

S41：以步骤2得到的图像特征z_i作为锚点，在此批图像中所有样本特征组成的集合为A(i)，在集合A(i)中索引得到与其类别标签相同的样本特征组成正例样本集合p(i)，集合P(i)的样本特征的数目为P，在集合A(i)中索引得到与其类别标签不相同的样本特征组成负例样本集合N(i)，集合N(i)的样本特征的数目为N，则监督对比学习损失函数的计算公式为：

S42：以步骤2得到的图像特征z_i作为锚点，则正则化因子的计算公式为：

其中，z_p为集合P(i)中的第p个样本特征，z_n为集合N(i)中的第n个样本特征，z_a为集合A(i)中的第a个样本特征，β为可调参数；

S43：正则化监督对比损失函数的计算公式为：

2.根据权利要求1所述的一种基于正则化监督损失函数的图像分类方法，其特征在于，在步骤1中，分类模型的构建的具体步骤如下：

S11：分类模型中每个特征提取单元是由卷积残差块和注意力模块组成的，每个特征提取单元中卷积残差块的数目分别为3，4，6，3，每个残差块由3个卷积层组成的，注意力模块采用SENet注意力机制；第一个特征提取单元被表示为R_θ1(·)，每个卷积层中卷积核的数目分别为64，64，256；第二个特征提取单元被表示为R_θ2(·)，每个卷积层中卷积核的数目分别为128，128，512；第三个特征提取单元被表示为R_θ3(·)，每个卷积层中卷积核的数目分别为256，256，1024；第四个特征提取单元被表示为R_θ4(·)，每个卷积层中卷积核的数目分别为512，512，2048，θ₁，θ₂，θ₃，θ₄为特征提取单元中参数；

S12：分类模型中全连接层表示为神经元的数目为1000，将平均池化的卷积特征转化为1000维的特征；

S13：分类模型中的分类器表示为C_w(·)，将步骤S12中的图像特征转化为分类分值；

S14：分类模型中的Softmax层表示为S(·)，将步骤S13中的分类分值转化为概率输出值。

3.根据权利要求1所述的一种基于正则化监督损失函数的图像分类方法，其特征在于，在步骤2中，训练图像的特征提取以及分类过程的具体步骤如下：

S21：在训练数据集中随机抽取一批图像，该批图像的数目为L，其中任意一幅图像被表示为x_i，该图像对应的分类标签表示为y_i；

S22：将图像x_i输入到分类模型的第一个特征提取单元，得到z_i1＝R_θ1(x_i)，随后将z_i1输入到第二个特征提取单元得到z_i2＝R_θ2(z_i1)，之后将z_i2输入到第三个特征提取单元得到z_i3＝R_θ3(z_i2)，最后将z_i3输入到第四个特征提取单元得到图像的卷积特征z_i4＝R_θ4(z_i3)；

S23：将步骤S22得到的图像卷积特征z_i4经过平均池化操作后被输入到全连接层得到图像特征

S24：将步骤S23得到的图像特征z_i输入到全连接层得到分类分值c_i＝C_w(z_i)：

S25：步骤S24得到的分类分值c_i经过Softmax层得到图像的类别概率输出值

4.根据权利要求1所述的一种基于正则化监督损失函数的图像分类方法，其特征在于，在步骤5中，网络的训练与测试过程的具体步骤如下：

S51：对网络中参数进行优化的总的损失函数为：

其中，γ为可调的权重参数，基于上式利用梯度下降法对网络中的优化网络中的参数；

S52：完成网络的训练后，固定网络中的参数θ₁，θ₂，θ₃，θ₄，w，在线采集测试图像输入到网络中，经过特征提取单元和全连接层得到图像x的特征表示为：

则图像x的最终的类别预测值表示为：