CN110097091A - 训练与推理数据分布不一致条件下的图像细粒度识别方法 - Google Patents

Abstract

一种训练和推理数据分布不一致条件下的图像细粒度识别方法，本发明建立了检测‑细粒度模型，检测模块提取特征并对类别、位置和置信度回归。获取感兴趣区域位置并粘贴到WxH黑色背景后，传入特征融合的细粒度模块，利用多尺度双线性特征对子类进行细粒度识别。这使问题变成了单子类识别，消除了背景干扰，减轻了数据分布不一致的影响。在提出的Cigarette67‑2018训练，在实际多目标图片集成测试准确率为75%，且细粒度模块在特定数据集Cigarette67‑2018，公开数据集CUB200‑2011的测试准确率为97.8%、86.0%，较之前双线性模型B‑CNN基线有显著提高。在单核CPU上推理速度可以满足实时性要求且本发明中的细粒度识别模块为弱监督算法，仅仅需要图像级标注信息，这使本发明易于操作，实用价值高。

Description

训练与推理数据分布不一致条件下的图像细粒度识别方法

技术领域

本发明属于计算机视觉与人工智能、多媒体信号处理领域，特别是涉及训练与推理数据分布不一致条件下的图像细粒度识别方法。

背景技术

随着深度卷积神经网络的不断发展，深度学习等技术将计算机视觉中的检测、分割、追踪、分类等任务的精度和推理效率不断提高，这主要是得益于卷积神经神经网络强大的非线性建模能力、海量的数据量以及算力的提高。而这也使得图像细粒度识别这一计算机视觉任务带来了巨大的发展。图像的细粒度识别是相对于粗粒度识别而言，一般来说，图像的粗粒度识别是指完成具有较大差别类的识别，诸如人、椅子等不同种类的分类(如ImageNet数据集，MINIST数据集)；而细粒度识别的任务是要识别大类中的子类，比如CUB200-2011数据集中的200种鸟类识别，Cigarette67-2018数据集中的67种不同品牌的香烟识别(Cigarette67_2018是本发明作者实验室整理提出的香烟品牌细粒度识别数据集)。因此细粒度识别任务具有类间方差小，类内偏差大的特点，这与图像粗粒度识别相比，子类容易混淆，图像识别难度增大，但是图像细粒度识别在实际生产中具有较大的应用价值，如新零售中货架商品识别、O2O中子类商品的搜索细分等。

对图像细粒度识别而言，一般要求训练和推理数据的分布具有一致性，即训练数据和测试数据满足同样的概率分布，这是深度学习任务取得较好效果的一个必要要求。然而在实际生产过程中，实际测试环境下的推理数据可能不太容易获取满足深度学习所要求的数据量，比如在某个香烟品牌识别任务中实际测试环境下的图片如图1所示，一幅图中含有大量的目标子类，而且这种测试环境下的数据不容易获取较大的数据量。

发明内容

针对训练数据和推理数据分布不一致的场景进行图像细粒度识别问题研究具有重要意义。常见的数据分布不一致体现在训练数据是单目标单一角度，背景单一简单，而测试样本是多目标多角度，背景复杂，干扰因素较大问题，本发明提供一种训练与推理数据分布不一致条件下的图像细粒度识别方法，建立了针对此问题的两阶段模型，分别是检测模块与细粒度模块，检测负责检测出大类目标位置，细粒度模块在其基础进行子类的细粒度识别。检测模块直接进行物体类别、坐标位置以及置信度的回归，细粒度模块基于多尺度特征融合的双线性特征进行细粒度识别和分类，为达此目的，本发明提供训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：将数据增广后的批量图片利用检测-细粒度识别两阶段模型进行图像细粒度识别，检测模块负责检测出大类目标位置，经感兴趣区域和粘贴模块后，再由细粒度识别模块识别出图像中目标子类，方法包括如下步骤：

(1)将输入图片进行数据增广；

(2)将处理好的图片送入检测模块，检测出目标大类位置信息；

(3)将上步得到的位置信息送入感兴趣区域和粘贴模块，得到统一背景下的目标图片；

(4)将上步得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果。

作为本发明进一步改进，所述步骤(1)中对图像进行数据增广，具体步骤为：

步骤2.1：将输入图片使用离线旋转和在线旋转来增强，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，同时也使用亮度增强和随机裁剪方式进行数据增强。

作为本发明进一步改进，所述步骤(2)中将步骤1处理好的批量图片送入检测模块，该模块使用VGG-16基础网络进行特征提取，将最后一层特征图送入回归层，进行目标大类类别、坐标位置以及置信度的回归，具体步骤为：

步骤3.1：计算所有候选锚点框与真值框之间交并比，首先，对基础网络VGG16所提取的最后一层特征图，将其划分成28x28的网格，每一个小的划分单元为一个cell；对每一个cell，有预先设计的9个锚点框；对每一个锚点框来讲，都用其预测出一个四边形pred；对于每一个pred来讲，本算法计算每一个pred和所有真值之间的交并比；

步骤3.2：划分正负候选样本，根据步骤3.1中所求的pred和所有真值之间交并比，设定一个门限值为IOU_THRES，将IOU>IOU_THRESH的pred对应的锚点框划分为候选正样本，反之，则为候选负样本；由于候选负样本的数量远大于候选正样本，可能存在样本不均衡的问题，因此，本算法从候选负样本中随机的选取一定数量的负样本，使正负样本比例为1：3，这样便确定了训练过程中的正负样本；

步骤3.3：负样本处理，对于负样本而言，由于不包含目标的位置信息，本算法只需要让它的置信度通过学习，降低到0即可，这个学习过程通过计算置信度下降的梯度，并回传更新权重来完成；

步骤3.4：正样本处理，对正样本而言，首先需要将其置信度置为1，所以不仅需要更新其置信度为向交并比接近，而且需要学习目标的位置信息；

1)对于置信度的学习，同负样本类似，是通过计算置信度变化梯度，回传更新权重即可；

2)对于目标的位置信息的学习，本算法需要遍历每一个真值框，计算其中心位置坐标(i，j),然后对该(i，j)所属的网格cell中的每一个锚点框，本算法都计算其预测框和真值框之间的交并比，取交并比最小的pred对应的锚点框作为最佳匹配best_锚点框，然后利用该锚点框和特征图信息计算预测目标四边形pred_best的位置坐标信息，将pred_best和锚点框坐标一一对应，计算各点横纵坐标偏差，计算梯度，并八通道独立回传更新权重；

3)计算分类的损失函数softmax loss，计算梯度并回传更新权重；

本步骤中目标大类坐标偏差预测与梯度生成公式为

其中，pred，anchor，GT分别表示预测四边形顶点坐标序列，锚点框角点坐标序列，真值框角点坐标序列，x[i]表示检测模块最后一层特征提取的位置信息，w，h表示最后一层特征图的尺寸，这里的i指的是上述三者可以匹配的所有集合中的一个，采用所有diff平方误差最小作为损失函数训练，经过检测后得到大类类别的坐标位置信息，供后续模块使用。

作为本发明进一步改进，所述步骤(3)中对检测模块的输出进行感兴趣区域和粘贴操作，具体步骤为：

步骤4.1：将步骤2检测模块预测得到的大类目标位置坐标信息输入到感兴趣区域辅助模块，得到目标的感兴趣区域。

步骤4.2：将步骤3.1中的输出结果送入到粘贴模块，该模块功能是将步骤2.1得到的感兴趣区域粘贴到一个WxH的黑色背景图片上，注意：由于本算法对训练数据和推理数据均进行粘贴操作，这消除了目标不同背景干扰的影响。

作为本发明进一步改进，所述步骤(4)中对步骤(3)得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果，具体步骤为：

步骤5.1：将经过步骤3.2后的图片送入细粒度识别模块，该模块首先采用VGG-16基础网络进行特征提取；

步骤5.2：融合步骤3.1所提取特征网络的conv5_3，conv5_1，conv4_3层的双线性特征双线性vector，这里的双线性vector是双流的特征，即：使用每一层特征自己与自己做双线性操作，来模拟双流的操作，这里的融合方式为：将3个双线性向量进行横向连接，得到融合不同尺度特征的双线性特征，这里的细粒度特征融合算法、双线性操作算法流程分别如Algorithm 1和Algorithm 2所示；

本发明提出一种训练和推理数据分布不一致条件下的图像细粒度识别方法，属于计算机视觉与人工智能、多媒体信号处理领域。针对工业生产过程中训练和推理数据分布不一致的场景，本发明建立了针对此类问题的两阶段模型算法，分别是检测模块与细粒度模块，检测负责检测出大类目标位置，细粒度模块在其基础进行子类的细粒度识别。检测模块直接进行物体类别、坐标位置以及置信度的回归，细粒度模块基于多尺度特征融合的双线性特征进行细粒度识别和分类。本发明给出了在Cigarette67-2018数据集上训练，在实际测试样本下推理的细粒度识别结果。另外本发明的细粒度模块也给出了Cigarette67-2018数据集、CUB200-2011数据集上的细粒度识别测试结果。由于检测模块、感兴趣区域模块、粘贴模块以及细粒度识别模块的级联使用，本发明解决了训练数据为单目标单一角度，背景单一简单，推理样本是多目标多角度，背景复杂干扰因素大，这种训练与推理数据分布不一致的问题。在单核CPU上的推理速度也可以满足实时性的要求。本发明中的细粒度识别模块为弱监督算法，仅仅需要图像级标注信息，这使本发明操作方便，实用价值更高。

附图说明

图1为本发明所述的实际测试环境中细粒度任务香烟品牌识别测试图片；

图2为本发明所提出Cigarette67-2018数据集香烟品牌部分样本示例；

图3为本发明针对训练和推理数据分布不一致建立的检测-细粒度识别两阶段模型；

图4为本发明检测模块中预测坐标与匹配锚点框示意图；

图5为本发明所建立两阶段模型测试实际推理场景图片结果示例。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种训练与推理数据分布不一致条件下的图像细粒度识别方法，建立了针对此问题的两阶段模型，分别是检测模块与细粒度模块，检测负责检测出大类目标位置，细粒度模块在其基础进行子类的细粒度识别。检测模块直接进行物体类别、坐标位置以及置信度的回归，细粒度模块基于多尺度特征融合的双线性特征进行细粒度识别和分类。

下面以公开数据集CUB200-2011和实验室实际环境测试数据集Cigarette67-2018为例，结合附图对本发明一种训练和推理数据分布不一致条件下的图像细粒度识别方法的具体实施方式作进一步详细说明。

步骤1：将输入图片使用离线旋转和在线旋转来增强，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转。同时也使用亮度增强和随机裁剪方式进行数据增强。

步骤2：将步骤1处理好的批量图片送入检测模块，该模块使用VGG-16基础网络进行特征提取，将最后一层特征图送入回归层，进行目标大类类别、坐标位置以及置信度的回归。具体实施方式如下：

步骤2.1：计算所有候选锚点框与真值框之间交并比

首先，对基础网络VGG16所提取的最后一层特征图，将其划分成28x28的网格，每一个小的划分单元为一个cell；对每一个cell，有预先设计的9个锚点框box；对每一个锚点框box来讲，都用其预测出一个四边形pred；对于每一个pred来讲，本算法计算每一个pred和所有真值之间的交并比。本发明中交并比的计算方式未采用解析方法来求解，而是采用蒙特卡洛法近似求解；

步骤2.2：划分正负候选样本

根据步骤2.1中所求的pred和所有真值之间交并比，设定一个门限值为IOU_THRES，将IOU>IOU_THRESH的pred对应的锚点框划分为候选正样本，反之，则为候选负样本；由于候选负样本的数量远大于候选正样本，可能存在样本不均衡的问题，因此，本算法从候选负样本中随机的选取一定数量的负样本，使正负样本比例为1：3。这样便确定了训练过程中的正负样本。

步骤2.3：负样本处理

对于负样本而言，由于不包含目标的位置信息，本算法只需要让它的置信度通过学习，降低到0即可，这个学习过程通过计算置信度下降的梯度，并回传更新权重来完成。

步骤2.4：正样本处理

对正样本而言，首先需要将其置信度置为1，所以不仅需要更新其置信度为向交并比接近，而且需要学习目标的位置信息。

1)对于置信度的学习，同负样本类似，是通过计算置信度变化梯度，回传更新权重即可。

2)如说明书附图4所示，对于目标的位置信息的学习，本算法需要遍历每一个真值框，计算其中心位置坐标(i，j),然后对该(i，j)所属的网格cell中的每一个锚点框，本算法都计算其预测框和真值框之间的交并比，取交并比最小的pred对应的锚点框作为最佳匹配best_锚点框，然后利用该锚点框和特征图信息计算预测目标四边形pred_best的位置坐标信息。将pred_best和best_锚点框坐标一一对应，计算各点横纵坐标偏差，计算梯度，并八通道独立回传更新权重。

3)计算分类的损失函数softmax loss，计算梯度并回传更新权重。

本步骤中目标大类坐标偏差预测与梯度生成公式为

其中，pred，锚点框，GT分别表示预测四边形顶点坐标序列，锚点框角点坐标序列，真值框角点坐标序列，x[i]表示检测模块最后一层特征提取的位置信息，w，h表示最后一层特征图的尺寸，这里的i指的是上述三者可以匹配的所有集合中的一个。采用所有diff平方误差最小作为损失函数训练，经过检测后得到大类类别的坐标位置信息，供后续模块使用。所得到的识别结果如说明书附图5左一所示。

步骤3：将检测模块的输出进行感兴趣区域和粘贴操作

步骤3.1：将步骤2检测模块预测得到的大类目标位置坐标信息输入到感兴趣区域辅助模块，得到目标的感兴趣区域。

步骤3.2：将步骤3.1中的输出结果送入到粘贴模块，该模块功能是将步骤2.1得到的感兴趣区域粘贴到一个448x448的黑色背景图片上，注意：由于本算法对训练数据和推理数据均进行粘贴操作，这消除了目标不同背景干扰的影响。所得结果如说明书附图5右所示。

步骤4：将步骤3中得到图片送入细粒度识别模块，融合多尺度双线性特征，进行细粒度识别：

步骤4.1：将经过步骤3.2后的图片送入细粒度识别模块。如说明书附录图3所示，该模块首先采用VGG-16基础网络进行特征提取。

步骤4.2：融合步骤3.1所提取特征网络的conv5_3，conv5_1，conv4_3层的双线性特征双线性vector，这里的双线性向量是双流的特征，即：使用每一层特征自己与自己做双线性操作，来模拟双流的操作。这里的融合方式为：将3个双线性向量进行横向连接，得到融合不同尺度特征的双线性特征。这里的细粒度特征融合算法、双线性操作算法流程分别如Algorithm 1和Algorithm 2所示。两阶段测试识别结果如说明书附图表2所示。

本发明所建立模型的实验平台如下：centos 7系统，配置E5处理器，一块NVIDIATesla P100显卡。本发明中模型训练的超参数为：

按照上表所列参数进行模型训练，并在实际测试环境下的图片进行推理。至此完成了训练和推理数据分布不一致条件下的图像细粒度识别方法的训练和推理流程。

本发明给出了在Cigarette67-2018数据集上训练，在实际测试样本下推理的细粒度识别结果。另外本发明的细粒度模块也给出了Cigarette67-2018数据集、CUB200-2011数据集上的细粒度识别测试结果。

而本发明中的Cigarette67-2018数据集中的样本图片如图2所示，都是单图单目标子类的情形，其细粒度测试结果如下表所示。

表1：细粒度测试结果

这便是训练与推理数据分布不一致的情形。因此，这种场景下的图像细粒度识别方法研究具有重要意义。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：将数据增广后的批量图片利用检测-细粒度识别两阶段模型进行图像细粒度识别，检测模块负责检测出大类目标位置，经感兴趣区域和粘贴模块后，再由细粒度识别模块识别出图像中目标子类，方法包括如下步骤：

(1)将输入图片进行数据增广；

(2)将处理好的图片送入检测模块，检测出目标大类位置信息；

(3)将上步得到的位置信息送入感兴趣区域和粘贴模块，得到统一背景下的目标图片；

(4)将上步得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果。

2.根据权利要求1所述的训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：所述步骤(1)中对图像进行数据增广，具体步骤为：

步骤2.1：将输入图片使用离线旋转和在线旋转来增强，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，同时也使用亮度增强和随机裁剪方式进行数据增强。

3.根据权利要求1所述的训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：所述步骤(2)中将步骤1处理好的批量图片送入检测模块，该模块使用VGG-16基础网络进行特征提取，将最后一层特征图送入回归层，进行目标大类类别、坐标位置以及置信度的回归，具体步骤为：

步骤3.1：计算所有候选锚点框与真值框之间交并比，首先，对基础网络VGG16所提取的最后一层特征图，将其划分成28x28的网格，每一个小的划分单元为一个cell；对每一个cell，有预先设计的9个锚点框；对每一个锚点框来讲，都用其预测出一个四边形pred；对于每一个pred来讲，本算法计算每一个pred和所有真值之间的交并比；

步骤3.2：划分正负候选样本，根据步骤3.1中所求的pred和所有真值之间交并比，设定一个门限值为IOU_THRES，将IOU>IOU_THRESH的pred对应的锚点框划分为候选正样本，反之，则为候选负样本；由于候选负样本的数量远大于候选正样本，可能存在样本不均衡的问题，因此，本算法从候选负样本中随机的选取一定数量的负样本，使正负样本比例为1：3，这样便确定了训练过程中的正负样本；

步骤3.3：负样本处理，对于负样本而言，由于不包含目标的位置信息，本算法只需要让它的置信度通过学习，降低到0即可，这个学习过程通过计算置信度下降的梯度，并回传更新权重来完成；

步骤3.4：正样本处理，对正样本而言，首先需要将其置信度置为1，所以不仅需要更新其置信度为向交并比接近，而且需要学习目标的位置信息；

1)对于置信度的学习，同负样本类似，是通过计算置信度变化梯度，回传更新权重即可；

2)对于目标的位置信息的学习，本算法需要遍历每一个真值框，计算其中心位置坐标(i，j),然后对该(i，j)所属的网格cell中的每一个锚点框，本算法都计算其预测框和真值框之间的交并比，取交并比最小的pred对应的锚点框作为最佳匹配best_锚点框，然后利用该锚点框和特征图信息计算预测目标四边形pred_best的位置坐标信息，将pred_best和锚点框坐标一一对应，计算各点横纵坐标偏差，计算梯度，并八通道独立回传更新权重；

3)计算分类的损失函数softmax loss，计算梯度并回传更新权重；

本步骤中目标大类坐标偏差预测与梯度生成公式为

其中，pred，anchor，GT分别表示预测四边形顶点坐标序列，锚点框角点坐标序列，真值框角点坐标序列，x[i]表示检测模块最后一层特征提取的位置信息，w，h表示最后一层特征图的尺寸，这里的i指的是上述三者可以匹配的所有集合中的一个，采用所有diff平方误差最小作为损失函数训练，经过检测后得到大类类别的坐标位置信息，供后续模块使用。

4.根据权利要求1所述的训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：所述步骤(3)中对检测模块的输出进行感兴趣区域和粘贴操作，具体步骤为：

步骤4.1：将步骤2检测模块预测得到的大类目标位置坐标信息输入到感兴趣区域辅助模块，得到目标的感兴趣区域。

步骤4.2：将步骤3.1中的输出结果送入到粘贴模块，该模块功能是将步骤2.1得到的感兴趣区域粘贴到一个WxH的黑色背景图片上，注意：由于本算法对训练数据和推理数据均进行粘贴操作，这消除了目标不同背景干扰的影响。

5.根据权利要求1所述的训练与推理数据分布不一致条件下的图像细粒度识别方法，其特征在于：所述步骤(4)中对步骤(3)得到的批量图片送入细粒度识别模块，得到图像细粒度识别结果，具体步骤为：

步骤5.1：将经过步骤3.2后的图片送入细粒度识别模块，该模块首先采用VGG-16基础网络进行特征提取；

步骤5.2：融合步骤3.1所提取特征网络的conv5_3，conv5_1，conv4_3层的双线性特征双线性vector，这里的双线性vector是双流的特征，即：使用每一层特征自己与自己做双线性操作，来模拟双流的操作，这里的融合方式为：将3个双线性向量进行横向连接，得到融合不同尺度特征的双线性特征，这里的细粒度特征融合算法、双线性操作算法流程分别如Algorithm1和Algorithm2所示；