CN110689091A - 弱监督细粒度物体分类方法 - Google Patents

Abstract

本发明公开了一种弱监督细粒度物体分类方法，包括：对于待分类图像，通过区域建议网络生成一系列矩形的局部区域，并将各个局部区域按照置信度从大到小的顺序进行排序，选出M个局部区域；通过特征提取器提取M个局部区域的特征向量，从而预测M个局部区域为每一类别的概率值；预测结果将用于后续的集成预测部分，以及区域建议网络与集成预测中分类器的优化；通过特征提取器提取待分类图像的特征向量，从而预测待分类图像为每一类别的概率值；结合M个局部区域中前K个局部区域为每一类别的概率值以及待分类图像为每一类别的概率值，计算每一类别的最终概率值，选出最大概率值的类别作为分类结果。该方法具有分类精确度高、成本较低的优点。

Description

弱监督细粒度物体分类方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种弱监督细粒度物体分类方法。

背景技术

细粒度图像分类又被称作子类别图像分类，是近年来计算机视觉、模式识别等领域一个非常热门的研究课题。其目的是对粗粒度的大类别进行更加细致的子类划分，但由于子类别间细微的类间差异和较大的类内差异，较之普通的图像分类任务，细粒度图像分类难度更大。

传统强监督细粒度物体分类方法严重依赖于人工标注信息。借助于标注框能够完成对前景对象的检测，从而排除掉背景噪声的干扰；而局部区域位置则可以用来对一些有用的局部区域进行定位，或者进行姿态对齐等，以实现局部特征的提取。然而，人工标注信息的获取代价十分昂贵，这在很大程度上制约了这些分类算法的实用性。

发明内容

本发明的目的是提供一种弱监督细粒度物体分类方法，具有分类精确度高、成本较低的优点。

本发明的目的是通过以下技术方案实现的：

一种弱监督细粒度物体分类方法，包括：

区分性局部区域提取：对于待分类图像，通过区域建议网络生成一系列矩形的局部区域，并将各个局部区域按照置信度从大到小的顺序进行排序，选出M个局部区域；

局部区域特征学习：通过特征提取器提取M个局部区域的特征向量，从而预测M个局部区域为每一类别的概率值；预测结果将用于后续的集成预测部分，以及区域建议网络与集成预测中分类器的优化；

全局整体特征学习：通过特征提取器提取待分类图像的特征向量，从而预测待分类图像为每一类别的概率值；

集成预测：结合M个局部区域中前K个局部区域为每一类别的概率值以及待分类图像为每一类别的概率值，计算每一类别的最终概率值，选出最大概率值的类别作为分类结果。

由上述本发明提供的技术方案可以看出，基于弱监督的方式，仅仅依靠类别标签，自动寻找图像中最有区分性的局部区域。同时，方案中综合考虑了局部特征与全局特征，并通过多个分类器的集成极大的提高分类精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种弱监督细粒度物体分类方法的框架图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种弱监督细粒度物体分类方法，如图1所示，其主要包括如下几个步骤：

1、区分性局部区域提取：对于待分类图像，通过区域建议网络生成一系列矩形的局部区域，并将各个局部区域按照置信度从大到小的顺序进行排序，选出排名靠前的K个局部区域。

本步骤的优选实施方式如下：

区分性局部区域提取阶段，先将待分类图像调整为指定大小，再通过区域建议网络生成一系列矩形的局部区域{R_i}；各局部区域对应一个置信度{S(R_i)}，将各个局部区域按照置信度从大到小的顺序进行排序，并通过非极大值抑制剔除不符合要求的局部区域，获得M个局部区域，将M个局部区域调整为所述指定大小的一半尺寸后进行局部区域特征学习。

示例性的，可以设置M＝6；指定大小可以设定为448*448。值得注意的是，图1所设置的局部区域的数量仅为便于图形的绘制，并未限制具体数值。

所剔除的不符合要求的局部区域是指重合度较大的低置信度区域，此处的较大、低的具体标准可以由用户根据情况自行设置。

2、局部区域特征学习：通过特征提取器提取M个局部区域的特征向量，从而预测M个局部区域为每一类别的概率值，预测结果将用于后续的集成预测部分，以及区域建议网络与集成预测中分类器的优化。

本发明实施例中，将M个局部区域经过特征提取器，得到相应的特征向量。示例性的，可以输出2048个通道的响应作为它们的特征向量。将这个特征向量经过一个fc层(全连接层)和一个softmax层，得到预测为分类任务中每一类别的概率值{P^j(R_i)}，其中P^j(R_i)表示第i个局部区域为第j个类别的概率值。

预测结果将用于后续的集成预测部分是指在后文介绍的集成预测时，只取M个局部区域中排序靠前的K个局部区域的预测结果。区域建议网络与集成预测中分类器的优化方式都将在后文的区分性匹配部分进行介绍；其中，优化区域建议网络时，不仅考虑各局部区域的预测结果，还考虑各局部区域的建议得分(即置信度)。

3、全局整体特征学习：通过特征提取器提取待分类图像的特征向量，从而预测待分类图像为每一类别的概率值。

本发明实施例中，同样将待分类图像X经过特征提取器得到它的特征向量，同样经过一个fc层和一个softmax层，得到预测为每一类别的概率值。

4、集成预测：结合K个局部区域为每一类别的概率值以及待分类图像为每一类别的概率值，计算每一类别的最终概率值，选出最大概率值的类别作为分类结果。

本步骤优选实施方式如下：

为了能够更好的结合待分类图像和局部区域的判别效果。将待分类图像的特征向量与前K个局部区域(也就是按照置信度大小排序的M个局部区域的前K个)的特征向量拼接为特征向量C，并预测特征向量C为每一类别的概率值；预测方式与前述局部区域特征学习、全局整体特征学习所述的方式相同，即经过一个fc层和一个softmax层，得到预测为每一类别的概率值。

对于类别j，将前K个局部区域为类别j的概率值、待分类图像为类别j的概率值、以及特征向量C为类别j的概率值求平均，得到类别j的最终概率值

其中，P^j(R_i)表示第i个局部区域为第j个类别的概率值，P^j(X)表示待分类图像X为第j个类别的概率值，P^j(C)表示特征向量C为第j个类别的概率值；

选出最大概率值的类别作为分类结果：

其中，index为最大概率值的类别对应的索引号。

优选的，为了提升分类效果，本发明实施例中，通过区分性匹配，来优化区域建议网络、和/或通过知识迁移的方法，在局部区域特征学习过程中引入全局整体特征。下面针对两种方式分别进行介绍。

1、区分性匹配。

在区分性局部区域提取过程中，提取的每个局部区域的置信度{S(R_i)}和每个局部区域在集成预测阶段被判定为真实类别的概率{P(R_i)}应是具有一致性的。即如果一个局部区域R_i的置信度S(R_i)越高，那么它在集成预测阶段中被判定为真实类别的概率P(R_i)也应该越高。因此，{S(R_i)}和{P(R_i)}在排序上和数值上应具有一致性。

本发明实施例前述局部区域特征学习部分可以预测M个局部区域为每一类别的概率值，示例性的，第i个局部区域R_i判定为猫概率0.5，判定为狗概率0.3，判定为牛概率为0.2，而真实类别g是指图像真正的物体类别，比如，图像为猫的照片，其真实类别g即为猫；则第i个局部区域R_i在集成预测阶段被判定为真实类别g的概率P(R_i)为0.5。

本发明实施例中，通过定义区分性匹配中的注意力机制损失函数为排序和回归双重任务的损失函数，优化{S(R_i)}和{P(R_i)}使二者具有相同顺序和数值：

上式中：

f_pair(x)＝max{1-x,0}

f_point(x)＝|x|

其中，λ为设定的系数(可设为0.1)；i与i'均为局部区域的序号。

上述过程中，注意力机制损失函数用来优化区域建议网络。优化方式就是根据区分性匹配，即一个局部区域在区域建议时的得分和预测为真实类别的概率应该保持一致性。因而通过区分性匹配，我们可以优化区域建议网络使其提供更具有区分性的局部区域，从而提升细粒度分类的精度。

2、知识迁移。

传统细粒度分析方法将局部区域特征学习看作孤立的特征学习任务，忽视了全局-局部之间的约束性。本发明实施例中通过知识迁移的方法，将全局整体特征学习得到的知识迁移到局部区域特征学习过程中，从而实现对局部区域特征学习更好的监督。

采用知识蒸馏过程中的老师与学生机制，将全局整体特征学习看作老师，将局部区域特征学习看作学生；优化局部区域特征学习部分的特征提取器，让局部区域特征学习过程中预测得到的概率值分布趋近于全局整体特征学习得到的概率值分布；

对于每个局部区域得到的预测结果{P^j(R_i)}，计算出对应的软化概率值分布{P_s ^j(R_i)}：

其中，P^j(R_i)表示第i个局部区域为第j个类别的概率值，P^j'(R_i)表示第i个局部区域为第j'个类别的概率值，P_s ^j(R_i)为P^j(R_i)的软化概率值；T为设定的自然数(可设为10)；

将{P^j(X)}和{P_s ^j(R_i)}的KL散度作为知识迁移损失函数：

其中，P^j(X)为待分类图像X为第j个类别的概率值，N为类别总数。

通过上述知识迁移的方法，能够优化局部区域特征学习部分的特征提取器，从而在进行局部区域特征学习过程中引入了全局整体特征学习得到的知识，进而实现了更全面的特征学习。

此外，在上述集成预测阶段包含了多种分类器(例如，基于拼接向量C的分类器、基于原图的分类器、基于M个区域的分类器)，此处采用交叉熵损失函数作为分类损失。分类损失函数表示为：

其中，P(C)表示待分类图像的特征向量与K个局部区域的特征向量拼接为特征向量C被预测为真实类别g的概率值，P(X)表示待分类图像的特征向量被预测为真实类别g的概率值，P(R_i)表示第i个局部区域被预测为真实类别g的概率值。

最终，本发明所提供的分类方法的联合损失函数分类损失函数、区分性匹配损失和知识迁移损失函数之和：

为了说明本发明上述方案的分类效果，基于本发明上述方案在现有数据集中进行了验证，其中在CUB-200-2011数据集上达到88.59％的精确度，在Stanford Cars数据集上达到94.27％的精确度，在FGVC-Aircraft上达到93.37％的精确度，在Stanford Dogs数据集上达到85.00％的精确度。与现有方法相比，本发明上述方案显著提升了分类精确度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种弱监督细粒度物体分类方法，其特征在于，包括：

区分性局部区域提取：对于待分类图像，通过区域建议网络生成一系列矩形的局部区域，并将各个局部区域按照置信度从大到小的顺序进行排序，选出M个局部区域；

局部区域特征学习：通过特征提取器提取M个局部区域的特征向量，从而预测M个局部区域为每一类别的概率值；预测结果将用于后续的集成预测部分，以及区域建议网络与集成预测中分类器的优化；

全局整体特征学习：通过特征提取器提取待分类图像的特征向量，从而预测待分类图像为每一类别的概率值；

集成预测：结合M个局部区域中前K个局部区域为每一类别的概率值以及待分类图像为每一类别的概率值，计算每一类别的最终概率值，选出最大概率值的类别作为分类结果。

2.根据权利要求1所述的一种弱监督细粒度物体分类方法，其特征在于，区分性局部区域提取阶段，先将待分类图像调整为指定大小，再通过区域建议网络生成一系列矩形的局部区域{R_i}；各局部区域对应一个置信度{S(R_i)}，将各个局部区域按照置信度从大到小的顺序进行排序，并通过非极大值抑制剔除不符合要求的局部区域，获得M个局部区域再将M个局部区域调整为所述指定大小的一半尺寸后进行局部区域特征学习。

3.根据权利要求1所述的一种弱监督细粒度物体分类方法，其特征在于，所述结合M个局部区域中前K个局部区域为每一类别的概率值以及待分类图像为每一类别的概率值，计算每一类别的最终概率值，选出最大概率值的类别作为分类结果包括：

将待分类图像的特征向量与前K个局部区域的特征向量拼接为特征向量C，并预测特征向量C为每一类别的概率值；对于类别j，将前K个局部区域为类别j的概率值、待分类图像为类别j的概率值、以及特征向量C为类别j的概率值求平均，得到类别j的最终概率值

其中，P^j(R_i)表示第i个局部区域为第j个类别的概率值，P^j(X)表示待分类图像X为第j个类别的概率值，P^j(C)表示特征向量C为第j个类别的概率值；

选出最大概率值的类别作为分类结果：

其中，index为最大概率值的类别对应的索引号。

4.根据权利要求1或3所述的一种弱监督细粒度物体分类方法，其特征在于，针对特征向量进行类别概率值的预测时，将特征向量输入至一个全连接层，并经由softmax层得到对应每一类别概率值。

5.根据权利要求1所述的一种弱监督细粒度物体分类方法，其特征在于，该方法还包括：通过区分性匹配，来优化区域建议网络、和/或通过知识迁移的方法，在局部区域特征学习过程中引入全局整体特征。

6.根据权利要求5所述的一种弱监督细粒度物体分类方法，其特征在于，通过区分性匹配，来优化区域建议网络包括：

记各局部区域对应的置信度为{S(R_i)}，各局部区域被判定为真实类别的概率值为{P(R_i)}；

通过定义注意力机制损失函数为排序和回归双重任务的损失函数，优化{S(R_i)}和{P(R_i)}使二者具有相同顺序和数值：

上式中：

f_pair(x)＝max{1-x,0}

f_point(x)＝|x|

其中，λ为设定的系数；i与i'均为局部区域的序号。

7.根据权利要求5所述的一种弱监督细粒度物体分类方法，其特征在于，通过知识迁移的方法，在局部区域特征学习过程中引入全局整体特征包括：

采用知识蒸馏过程中的老师与学生机制，将全局整体特征学习看作老师，将局部区域特征学习看作学生；优化局部区域特征学习部分的特征提取器，让局部区域特征学习过程中预测得到的概率值分布趋近于全局整体特征学习得到的概率值分布；

对于每个局部区域得到的预测结果{P^j(R_i)}，计算出对应的软化概率值分布

其中，P^j(R_i)表示第i个局部区域为第j个类别的概率值，P^j'(R_i)表示第i个局部区域为第j'个类别的概率值，

为P^j(R_i)的软化概率值；T为设定的自然数；

将{P^j(X)}和的KL散度作为知识迁移损失函数：

其中，P^j(X)为待分类图像X为第j个类别的概率值，N为类别总数。

8.根据权利要求5所述的一种弱监督细粒度物体分类方法，其特征在于，集成预测阶段的分类损失函数为：

其中，P(C)表示待分类图像的特征向量与K个局部区域的特征向量拼接为特征向量C被预测为真实类别g的概率值，P(X)表示待分类图像的特征向量被预测为真实类别g的概率值，P(R_i)表示第i个局部区域被预测为真实类别g的概率值。

9.根据权利要求5-8任一项所述的一种弱监督细粒度物体分类方法，其特征在于，分类方法的联合损失函数为：

其中，

为区分性匹配损失函数，

为识迁移损失函数，

为集成预测阶段的分类损失函数。

Images