CN110309858B - 基于判别学习的细粒度图像分类方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，提供了一种基于判别学习的细粒度图像分类方法。提出了一种新的端到端自回归定位与判别性先验网络模型，该模型学习探索更准确的判别patch大小，并能够实时分类图像。具体而言，设计了一个多任务判别学习网络，包含一个自回归定位子网络和一个判别性的先验子网络，判别性的先验子网络具有引导损失函数和一致性损失函数来同时学习自回归系数和判别性的先验map。自回归系数可以减少判别性patch中的噪声信息，判别性先验map通过学习判别概率值将数千个候选patch过滤成个位数数量patch。大量实验表明，所提出的SDN模型在准确性和效率方面均达到了最新水平。

Description

基于判别学习的细粒度图像分类方法

技术领域

本发明属于计算机视觉技术领域，以提高细粒度图像分类准确性和效率为出发点，提出基于判别学习的细粒度图像分类方法。

背景技术

与一般图像分类不同，弱监督的细粒度图像分类(WFGIC)仅使用图像级标签在更详细的类别和粒度下识别对象。由于其在图像理解和计算机视觉系统中的众多潜在应用，WFGIC受到了学术界和工业界的广泛关注。WFGIC是计算机视觉领域的一个开放性问题，不仅因为属于同一子类别的图像在大小，姿势，颜色和背景方面存在很大差异，而属于不同子类别的图像在这些方面可能非常相似，而且仅使用图像级标签提取辨别特征难度很大。

从系统的角度来看，图像中局部区域的微小和微妙差异对于区分细粒度子类别非常重要。最近，大多数表现最佳的WFGIC方案都专注于挑选局部判别patch以提取最具辨别力的特征。首先，一些自下而上的方法通过使用选择性搜索(SS)从原始图像生成大量候选patch，然后他们试图挑选出有辨别力的patch。然而，这些自下而上的过程缺乏一种机制来确保所选择的判别性patch在最终分类阶段发挥重要作用。许多工作已经表明，通过使用自上而下的过程去除有噪声的图像块并保留那些包含有区别区域块的图像，可以克服这个问题。然而，所选patch内的内容仍然包含一些噪声信息，例如图1(a)中的背景区域。在这项工作中，我们提出了一个自回归定位子网络，其引导损失用于学习自回归系数，用于调整所选patch的大小以找到准确的判别区域，如图1(b)所示。具体而言，当使用原始图像的全局特征预测的所选区域的概率值大于预测概率值时，引导损失被设计为隐含地学习自回归系数。

为了挑选出最具辨别力的patch，一些方法应用了部分对齐或CNN探测器。通过SS生成的大约2000个大量候选patch需要通过深度CNN分类网络预测是否包含判别特征，这需要高计算成本。一些方法设计了端到端网络，以避免保留大量候选patch。在这些工作中，WSDL使用了更快的RCNN框架，它保留了大约300个候选patch。在这项工作中，我们提出具有一致损失的判别性先验网络，以将patch数量减少到个位数，大约5-8，以实现实时效率，如图1(c)所示。当判别概率值尽可能接近所选patch中的分类概率时，所提出的一致性损失促使判别性先验映射学习图像的判别概率值。

发明内容

本发明提出了一个基于判别学习的细粒度图像分类方法，如图2所示。

本发明的技术方案：

一种基于判别学习的细粒度图像分类方法，其特征在于，

两个子网络：

(1)自回归定位子网络

自回归定位子网络学习自回归系数以调整判别patch的大小，使用三个patch生成器层来生成默认的patch；不同层的特征图具有不同的感受野；设计patch的比例尺寸、缩放步长和纵横比，以便不同的特征图对不同大小的判别区域负责；

在获得图像特征M_I及其相应的patch坐标向量V_c后，通过双层网络将图像特征输入到自回归函数；其中，自回归函数是有一个卷积操作和对齐操作；

第一层是卷积层：

M_SR＝f(M_I) (1)

其中，M_I∈R^W×H×C，其中W，H表示图像特征的宽度和高度，C是通道的数量；M_SR∈R^{W ×H×2K}是自回归系数图，K是给定位置默认的patch的数量；

f是卷积运算：

f(M_I)＝g(W_I,R·M_I+b_R) (2)

其中，g是非线性函数，W_I,R∈R^a×a×C×2K是学习参数，其中a是卷积核的大小，b_R表示自回归定位子网络中卷积层的偏置；

第二层是对齐层：映射函数h用于将自回归系数与相关联的patch对齐；

V_SR＝h(W_p⊙M_SR) (3)

其中，W_p是映射权重，⊙表示权重矩阵和系数矩阵之间的乘法；通过映射，将矩阵表示M_SR∈R^W×H×2K转换为矢量表示V_sR∈R^2K；V_SR是2K维向量，对应于默认patch的宽度和高度的自回归系数，向量的长度等于patch总数的两倍；

使用提出的引导损失函数使网络关注判别区域的大小，然后让网络学习自回归系数；根据每个默认patch的自回归系数，调整每个候选patch：

其中，

是第i个默认patch的坐标，i的范围是从1到patch的数量；然后，将学习到的自回归系数和分别和对应的候选patch的宽度和高度相乘；通过这种方式，自动调整默认patch的长宽比例来减少默认框中的无用信息；

(2)判别性的先验子网络

判别性的先验子网络用于引导网络搜索具有判别区域的patch；添加一个1×1×K的卷积层来学习判别概率图，来显示patch中的判别区域对最终分类结果的影响；

M_DP＝g(W_I,D·M_I+b_D) (4)

V_DP＝h(δ(W_DM_DP)) (5)

其中，W_I,D∈R^a×a×C×K是学习参数，a是卷积核的大小，b_D表示判别性的先验子网络中卷积层偏置，g是非线性函数，W_D表示对其层的权重，M_DP∈R^W×H×K是学习的判别概率图；

还通过映射函数h将矩阵表示M_DP∈R^W×H×K转换为矢量表示V_DP∈R^K；以这种方式，将辨别概率与对应的patch对齐；δ是sigmoid函数，用于确保判别概率值介于0和1之间；

(3)结合自自回归定位子网络和判别性的先验子网络

将自回归定位子网络和判别的先验子网络组合成一个统一的网络，为弱监督细粒度图像分类挑选出最具辨识力的patch；首先将判别先验概率和自回归比例系数分配给每个默认patch；公式表示：每个patch都有其默认坐标(t_x,t_y,t_w,t_h)和判别概率t_s以及两个自回归比例系数(s_w,s_h)；因此，自回归框BBox表示如下：

BBox＝[t_x,t_y,t_w×s_w,t_h×s_h,t_s] (6)

网络与SR和DP一起运行，并选择具有大于阈值θ的判别概率的BBox；使用阈值，仅选择包含判别特征的少量(5-8个)patch，因此复杂性已显着降低；根据剩余BBox的坐标，从原始图像中裁剪出剩余的patch，并通过Resnet-50提取特征，以生成高质量的patch级判别特征；

(4)Loss函数的设计

完整的多任务损失

表示如下：

其中

代表细粒度分类损失；

和

分别代表引导损失函数和一致损失函数；损失之间的平衡由超参数α,β控制；在通过大量的实验验证，α＝β＝1分类效果最佳；

将所选择的判别区域表示为R＝{R₁，R₂，...，R_N}，并将相应的判别概率得分表示为S＝{S₁，S₂，...，S_N}；然后，引导损失和一致损失定义如下：

其中，X是原始图像，函数C是置信函数，反映了分类到正确类别的概率；

引导损失旨在学习自回归系数，当使用整个图像的全局特征使所选区域的预测概率值低于预测概率值时，网络将受到惩罚并通过反向传播进行权重调整；一致性损失约束判别概率尽可能接近分类概率，可促使网络选择最具判别性的区域。

本发明的有益效果

(1)我们提出了一种具有判别性先验网络(SDN)模型的端到端自回归定位，用于弱监督细粒度图像分类，学习探索更准确的判别patch大小，并能够实时分类图像。

(2)我们设计引导损失和一致性损失，以指导SDN中的多任务学习，提供自回归系数来降低选择的patch中的噪声，并提供判别性的先验映射，以减少patch的数量，从而实现准确有效的分类。

附图说明

图1为本发明提出的用于细粒度图像分类的流程图。

图2为本发明提出的用于细粒度图像分类的网络框架图。

图3为本发明提出的自回归定位子网络和判别性先验子网络的网络框架图。

图4为本发明的自回归网络在CUB-200-2011上的定位效果，内框表示使用自回归定位之后的结果，外框表示使用自回归定位之前的结果。

图5为本发明的判别性先验网络在CUB-200-2011上的概率预测效果。从左到右，第一列是原图，第二列到第四列是分别与不同尺度特征图相关联的判别先验概率图。只显示长宽比为1：1的默认框的判别性先验概率图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一步的详细描述。

实验评估是在两个基准数据集上进行的：Caltech-UCSD Birds-200-2011和Stanford Cars，它们是用于细粒度图像分类的广泛使用的基准。鸟类包括11,788张图像，共有200类。汽车包括16,185张图像，共有196类。

实施细节：在我们的实验中，所有图像大小都调整为448×448。我们使用ResNet-50作为骨干网络，批量标准化作为正则项。我们优化器使用momentum SGD，初始学习率设为0.001，并在每60个epoch后乘以0.1。权重衰减率设定为1e-4。为了减少patch冗余，我们使用了非最大抑制(NMS)，并且NMS阈值设置为0.25。

消融实验：我们进行了一些消融实验，以说明我们提出的策略的有效性，包括判别先验和自回归位置的影响。

首先，我们通过Resnet-50从整个图像中提取特征，没有任何对象或部分注释用于细粒度分类，并将其设置为基线。然后，我们通过ResNet-50的分类结果选择默认patch作为本地特征。大量未经过滤的patch导致高计算成本。当我们添加判别性先验网络(DP)时，CUB-200-2011数据集的top-1分类精度提高了1.1％，并实现了50fps的实时速度。然后，我们引入了自回归定位网络，分类精度提高了1.8％，速度仍然保持在50fps。结果报告在表1中。消融实验表明，所提出的网络确实学习了判别区域并过滤了冗余patch，有效地提高了准确性并降低了计算复杂度。

表1本发明方法的不同变种的消融实验的识别结果

定量比较：我们的比较侧重于弱监督方法，因为所提出的模型仅使用图像级注释而不是任何对象或部分注释。如表2所示，我们展示了CUB-200-2011数据集和StanfordCars-196数据集上不同方法的性能。我们将最后一行中具有判别性先验网络的自回归定位模型表示为SDN。第一行和第二行是具有强监督对象甚至部分注释的最佳结果，而我们的方法甚至优于这些方法。与其他弱监督方法相比，该方法实现了最先进的性能。由于我们学习了自回归系数来调整默认patch的大小以包含尽可能多的判别区域，所以提出的SDN比NTS-Net在鸟类上的优势明显优于1.8％，在汽车上优于0.2％。DFL-CNN可以轻松地对要素图执行全局最大池(GMP)以过滤patch，同时我们了解判别概率值以保留更重要的patch，在鸟类高1.1％和汽车高0.3％。

表2在CUB-200-2011和Stanford Cars-196的不同方法的结果。

定性比较：自回归定位：如图4所示，绿框显示选择的自回归定位的选择patch。与没有自回归定位的patch(红框)相比，自回归定位网络(SR)确实通过学习自回归系数来调整候选贴片的大小以减少无用信息。

判别性先验：为了更好地显示判别先验的影响，我们将图5中的判别性先验地图可视化。我们可以观察到，通过联合学习的地图倾向于关注一些一致的区域(例如，头部，脚部)。此外，来自不同层的特征图具有不同的接收字段大小和对特定区域的特定大小的响应。P3层具有较小的接收区域，因此DP映射关注于多个局部细节。P5层具有全局视图，并且关注最具辨别力的区域。P4层可以弥补被忽视的判别区域的规模。

速度分析：我们使用Titan X的图形卡测量每次输入八张图像的速度。表3显示了与其他端到端方法的比较。WSDL和NTS-Net也应用多尺度特征来生成patch并尝试选择判别区域。当我们选择2个判别区域来进行分类时，速度和准确性都优于其他方法，并实现最先进的性能。当我们将区别区域从2增加到4时，SDN实现了最高的分类精度，同时也实现了实时分类。实验结果表明我们的方法既准确又有效。

表3在CUB-200-2011上其他端到端方法的有对比

本发明的方法中，采用了一种新的端到端自回归定位与判别性先验网络(SDN)模型，该模型学习探索更准确的判别patch大小，并能够实时分类图像。具体而言，设计了一个多任务判别学习网络，包含一个自回归定位子网络和一个判别性的先验子网络，判别性的先验子网络具有引导损失和一致性损失来同时学习自回归系数和判别性的先验map。自回归系数可以减少判别性patch中的噪声信息，判别性先验map通过学习判别概率值将数千个候选patch过滤成个位数数量patch。大量实验表明，所提出的SDN模型在准确性和效率方面均达到了最新水平。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (1)

1.一种基于判别学习的细粒度图像分类方法，其特征在于，

两个子网络：

(1)自回归定位子网络

自回归定位子网络学习自回归系数以调整判别patch的大小，使用三个patch生成器层来生成默认的patch；不同层的特征图具有不同的感受野；设计patch的比例尺寸、缩放步长和纵横比，以便不同的特征图对不同大小的判别区域负责；

在获得图像特征M_I及其相应的patch坐标向量V_c后，通过双层网络将图像特征输入到自回归函数；其中，自回归函数是有一个卷积操作和对齐操作；

第一层是卷积层：

M_SR＝f(M_I) (1)

其中，M_I∈R^W×H×C，其中W，H表示图像特征的宽度和高度，C是通道的数量；M_SR∈R^W×H×2K是自回归系数图，K是给定位置默认的patch的数量；

f是卷积运算：

f(M_I)＝g(W_I,R·M_I+b_R) (2)

其中，g是非线性函数，W_I,R∈R^a×a×C×2K是学习参数，其中a是卷积核的大小，b_R表示自回归定位子网络中卷积层的偏置；

第二层是对齐层：映射函数h用于将自回归系数与相关联的patch对齐；

V_SR＝h(W_p⊙M_SR) (3)

其中，W_p是映射权重，⊙表示权重矩阵和系数矩阵之间的乘法；通过映射，将矩阵表示M_SR∈R^W×H×2K转换为矢量表示V_SR∈R^2K；V_SR是2K维向量，对应于默认patch的宽度和高度的自回归系数，向量的长度等于patch总数的两倍；

使用提出的引导损失函数使网络关注判别区域的大小，然后让网络学习自回归系数；根据每个默认patch的自回归系数，调整每个候选patch：

其中，

是第i个默认patch的坐标，i的范围是从1到patch的数量；然后，将学习到的自回归系数和分别和对应的候选patch的宽度和高度相乘；自动调整默认patch的长宽比例来减少默认框中的无用信息；

(2)判别性的先验子网络

判别性的先验子网络用于引导网络搜索具有判别区域的patch；添加一个1×1×K的卷积层来学习判别概率图，来显示patch中的判别区域对最终分类结果的影响；

M_DP＝g(W_I,D·M_I+b_D) (4)

V_DP＝h(δ(W_DM_DP)) (5)

其中，W_I,D∈R^a×a×C×K是学习参数，a是卷积核的大小，b_D表示判别性的先验子网络中卷积层偏置，g是非线性函数，W_D表示对其层的权重，M_DP∈R^W×H×K是学习的判别概率图；

还通过映射函数h将矩阵表示M_DP∈R^W×H×K转换为矢量表示V_DP∈R^K；以这种方式，将辨别概率与对应的patch对齐；δ是Sigmoid激活函数，用于确保判别概率值介于0和1之间；

(3)结合自回归定位子网络和判别性的先验子网络

将自回归定位子网络和判别的先验子网络组合成一个统一的网络，为弱监督细粒度图像分类挑选出最具辨识力的patch；首先将判别先验概率和自回归比例系数分配给每个默认patch；每个patch都有其默认坐标(t_x,t_y,t_w,t_h)和判别概率t_s以及两个自回归比例系数(s_w,s_h)；因此，自回归框BBox表示如下：

BBox＝[t_x,t_y,t_w×s_w,t_h×s_h,t_s] (6)

网络与自回归定位网络SR和判别性先验网络DP一起运行，并选择具有大于阈值θ的判别概率的BBox；使用阈值，仅选择包含判别特征的少量patch，因此复杂性已显着降低；根据剩余BBox的坐标，从原始图像中裁剪出剩余的patch，并通过Resnet-50提取特征，以生成高质量的patch级判别特征；

(4)Loss函数的设计

完整的多任务损失

表示如下：

其中

代表细粒度分类损失；

和

分别代表引导损失函数和一致损失函数；损失之间的平衡由超参数α,β控制；在通过大量的实验验证，α＝β＝1分类效果最佳；

将所选择的判别区域表示为R＝{R₁，R₂，...，R_N}，并将相应的判别概率得分表示为S＝{S₁，S₂，...，S_N}；然后，引导损失和一致损失定义如下：

其中，X是原始图像，函数C是置信函数，反映了分类到正确类别的概率；

引导损失旨在学习自回归系数，当使用整个图像的全局特征使所选区域的预测概率值低于预测概率值时，网络将受到惩罚并通过反向传播进行权重调整；一致性损失约束判别概率尽可能接近分类概率，可促使网络选择最具判别性的区域。

Images