CN115457308B - 细粒度图像识别方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种细粒度图像识别方法、装置和计算机设备，所述方法包括：同时输入一对图像，提取一对图像的特征，获得一对三维原始特征图；利用通道注意力机制获取一对三维原始特征图中的区别特征所在区域，生成一对特征图；压缩一对特征图生成一对特征向量，通过学习一对特征向量得到交互向量，并生成门向量；利用成对向量交互机制对特征向量和门向量进行成对交互，得到对应的注意特征；将对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。本申请可以有效地定位关键区域和提高从不同图像中识别对比线索进行细粒度分类的能力。

Description

细粒度图像识别方法、装置和计算机设备

技术领域

本申请涉及图像识别的技术领域，特别是涉及一种细粒度图像识别方法、装置和计算机设备。

背景技术

细粒度图像识别已成为计算机视觉领域的一个重要课题，并引起了广泛关注，其目的是对粗粒度类别中更详细的子类进行分类，然而，由于细粒度图像存在类内方差高、类间方差低等特点，使得细粒度图像识别仍然是一项具有挑战性的任务。

细粒度图像识别方法需要重点关注两个问题：(1)定位细粒度图像中具有区分性的关键区域，上文中提到细粒度图像往往具有类内方差高、类间方差低等特点，因为具有区分性的区域大多存在于目标物体特定的局部区域且尺寸较小，并且这些具有区分性的局部区域不易因目标物体的姿势、摄像机视角的变化而发生较大变化，所以定位到区分性区域可以较为容易的区分目标物体类别；(2)从关键区域中进行有效的特征提取与表示，将具有区分性的关键区域从图像中检测出来后，还要进行有效的细粒度特征提取，将相同类别的特征表示映射的同一个语义空间中，使得相同类别通过细粒度图像识别方法可以得到相同的类别输出。

早期的细粒度图像识别方法通过人类注释的边界框/部位注释进行基于部位的特征表示来解决这个问题，然而，在标记过程中需要专业的知识和大量的注释时间，因此，对于实际的细粒度图像识别任务，需要花费大量时间和资源进行注释的强监督方法并非最优。为了解决这个问题，研究重点转移到仅提供类别标签的弱监督方法，通过定位不同部位来学习区分性特征，目前，细粒度图像识别的研究方法集中在放大、裁剪局部可区分性区域。具体来说，这种方法在特征提取网络中，添加了一个注意力机制分支网络用于学习注意力权重，如图1所示，特征提取网络对输入图像提取特征之后，将特征图作为注意力机制分支网络的输入得到注意力特征图，注意力特征图与原始特征图进行融合增强关键特征，然后放大、裁剪关键特征，以此加强对于识别任务更有利的细粒度特征。

这种常见的利用注意力机制捕获并放大关键区域的方法虽然取得了一些效果，但他们中的大多数人以单个图像作为输入，这可能会限制他们从不同图像中识别对比线索进行细粒度分类的能力，另一方面，人类没有办法通过比较图像对来有效地识别对比性线索。

发明内容

基于此，有必要针对上述技术问题，提供一种能够定位关键区域、提高不同图像识别对比线索进行细粒度分类的能力的细粒度图像识别方法、装置、计算机设备和存储介质。

一方面，提供一种细粒度图像识别方法，所述方法包括：

步骤A：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

步骤B：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

步骤C：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

步骤D：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

步骤E：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

在其中一个实施例中，还包括：所述同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图包括：

同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征；

基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^kk∈{1，2，...，S}

F^k′∈H^k′×W^k′×C^k′k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

在其中一个实施例中，还包括：所述利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图包括：

将所述一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>

将所述两个特征通道输入共享卷积层并融合得到通道注意力权重

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

在其中一个实施例中，还包括：获取所述通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化。

在其中一个实施例中，还包括：获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

在其中一个实施例中，还包括：所述压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量包括：

将所述特征图F^kf、F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(.)是[x₁，x₂]的映射函数；

在所述交互向量x_m与x_i之间执行通道级乘积，并添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}。

在其中一个实施例中，还包括：所述利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征包括：

利用所述成对向量交互机制计算获取所述注意特征，其计算公式为：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，/>被另一个图像的门向量激活。

在其中一个实施例中，还包括：所述将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型包括：

将所述对应的注意特征输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型。

另一方面，提供了一种细粒度图像识别装置，所述装置包括：

原始特征提取模块，用于同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

区别特征提取模块，用于利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

向量生成模块，用于压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

交互模块，用于利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

训练模块，用于将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤A：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

步骤B：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

步骤C：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

步骤D：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

步骤E：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

步骤A：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

步骤B：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

步骤C：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

步骤D：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

步骤E：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

上述细粒度图像识别方法、装置、计算机设备及存储介质，所述方法包括：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别，本申请将注意力机制与成对交互相结合并引入到细粒度图像识别任务中，在结构设计方面，以成对交互网络为核心，构建混合注意力机制模块，将混合注意力机制模块与成对交互网络相结合进行关键特征定位和提取，构成整个细粒度图像识别网络框架，其中，通过引入通道注意力可以有效地定位关键区域，从而能够捕获不同图像的关键区域，另外，通过设计的成对交互网络，可以自适应地从一对细粒度图像中发现对比线索，并通过对交互仔细区分它们，从而提高从不同图像中识别对比线索进行细粒度分类的能力。

附图说明

图1为一个实施例中细粒度图像识别方法的现有特征提取方法流程图；

图2为一个实施例中细粒度图像识别方法的应用环境图；

图3为一个实施例中细粒度图像识别方法的流程示意图；

图4为一个实施例中细粒度图像识别方法的另一流程示意图；

图5为一个实施例中细粒度图像识别装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的细粒度图像识别方法，可以应用于如图2所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信，并通过网络与设置于服务器104上的数据处理平台进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

实施例1

在一个实施例中，如图3～4所示，提供了一种细粒度图像识别方法，以该方法应用于图2中的终端为例进行说明，包括以下步骤：

S1：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

需要说明的是，所述一对图像指的是有部分相同特征的两张图像，示例性的，如图4所示，输入的是两张含不同形态的海鸥的图片，进一步的，同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征，基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^kk∈{1，2，...，S}

F^k′∈H^k′×W^k′×C^k′k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

S2：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图。

具体的，将所述一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

对于任一个特征图所有通道中的每张特征图，首先计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，即每张特征图中得到维数是1×1的一维矩阵，所有通道累计得到了C×1个维数是1×1的矩阵，分别为最大值特征通道和平均值特征通道/>

将所述两个特征通道输入共享卷积层并融合得到通道注意力权重

其中，获取所述通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化。

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域，为关键区域，其中，获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

S3：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量。

需要说明的是，经过步骤S2之后，可以捕获到包含显著性信息的一对特征图F^kf和F^kf′，将特征图F^kf和F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(.)是[x₁，x₂]的映射函数由于x_m是从x₁和x₂自适应总结的，它通常包含表示成对图像中高级对比线索的特征通道；

优选的，本申请在所述交互向量x_m与x_i之间执行通道级乘积，这样就可以利用x_m作为指导，找出单个x_i的哪些通道可能包含对比线索，然后，添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}

因此，g_i成为了一种区别性的注意，通过每个个体x_i的不同视角来突出语义差异。

S4：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征。

需要说明的是，本申请的设计部分动机是这样一个事实，为了捕捉一对细粒度图像的细微差异，人类不仅检查每张图像突出的部分，而且检查与其他图像不同的部分，因此，本申请引入了一种通过成对向量的交互机制：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，/>被另一个图像的门向量激活，在这种情况下，本申请使用来自这两幅图像的区别线索来增强x_i，通过共同区分所有这些特征，可以减少这个细粒度对中的混淆。

S5：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

需要说明的是，基于步骤S4所获得的四个注意特征，将其输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型以用于后期的细粒度图像识别。

本申请与现有技术相比主要有以下优点：在细粒度图像识别模型上，当前的方法大多是集中在放大、裁剪局部可区分性区域，具体来说，这种方法在特征提取网络中，添加了一个注意力机制分支网络用于学习注意力权重，特征提取网络对输入图像提取特征之后，将特征图作为注意力机制分支网络的输入得到注意力特征图，注意力特征图与原始特征图进行融合增强关键特征，然后放大、裁剪关键特征，以此加强对于识别任务更有利的细粒度特征。与上述方法不同，本申请提出一种基于注意力机制的成对交互网络的细粒度图像识别模型，它可以自适应地从一对细粒度图像中发现对比线索，并通过对交互仔细区分它们，并从以下两个方面进行改进：(1)为了能够捕获不同图像的关键区域，本申请引入了通道注意力有效地定位关键区域；(2)为了提高从不同图像中识别对比线索进行细粒度分类的能力，本申请设计了成对交互网络，它可以自适应地从一对细粒度图像中发现对比线索，并通过对交互仔细区分它们。综上所述，本申请将注意力机制与成对交互相结合并引入到细粒度图像识别任务中，在结构设计方面，以成对交互网络为核心，构建混合注意力机制模块，将混合注意力机制模块与成对交互网络相结合进行关键特征定位和提取，构成整个细粒度图像识别网络框架，可以有效地定位关键区域和提高从不同图像中识别对比线索进行细粒度分类的能力。

应该理解的是，虽然图3-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例2

在一个实施例中，如图5所示，提供了一种细粒度图像识别装置，包括：原始特征提取模块、区别特征提取模块、向量生成模块、交互模块和训练模块，其中：

原始特征提取模块，用于同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

区别特征提取模块，用于利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

向量生成模块，用于压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

交互模块，用于利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

训练模块，用于将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

作为一种较优的实施方式，本发明实施例中，所述原始特征提取模块具体用于：

同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征；

基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^kk∈{1，2，...，S}

F^k′∈H^k′×W^k′×C^k′k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

作为一种较优的实施方式，本发明实施例中，所述区别特征提取模块具体用于：

将所述一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>

将所述两个特征通道输入共享卷积层并融合得到通道注意力权重

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

其中，获取所述通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化。

获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

作为一种较优的实施方式，本发明实施例中，所述向量生成模块具体用于：

将所述特征图F^kf、F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(.)是[x₁，x₂]的映射函数；

在所述交互向量x_m与x_i之间执行通道级乘积，并添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}。

作为一种较优的实施方式，本发明实施例中，所述交互模块具体用于：

利用所述成对向量交互机制计算获取所述注意特征，其计算公式为：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，/>被另一个图像的门向量激活。

作为一种较优的实施方式，本发明实施例中，所述训练模块具体用于：

将所述对应的注意特征输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型。

关于细粒度图像识别装置的具体限定可以参见上文中对于细粒度图像识别方法的限定，在此不再赘述。上述细粒度图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

实施例3

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种细粒度图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

步骤A：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

步骤B：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

步骤C：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

步骤D：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

步骤E：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征；

基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^kk∈{1，2，...，S}

F^k′∈H^k′×W^k′×C^k′k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>

将所述两个特征通道输入共享卷积层并融合得到通道注意力权重

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

其中，获取所述通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化。

获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述特征图F^kf、F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(.)是[x₁，x₂]的映射函数；

在所述交互向量x_m与x_i之间执行通道级乘积，并添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

利用所述成对向量交互机制计算获取所述注意特征，其计算公式为：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，/>被另一个图像的门向量激活。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述对应的注意特征输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型。

实施例4

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

步骤A：同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

步骤B：利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

步骤C：压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

步骤D：利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

步骤E：将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征；

基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^kk∈{1，2，...，S}

F^k′∈H^k′×W^k′×C^k′k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>

将所述两个特征通道输入共享卷积层并融合得到通道注意力权重

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

其中，获取所述通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化。

获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述特征图F^kf、F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(.)是[x₁，x₂]的映射函数；

在所述交互向量x_m与x_i之间执行通道级乘积，并添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

利用所述成对向量交互机制计算获取所述注意特征，其计算公式为：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，/>被另一个图像的门向量激活。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述对应的注意特征输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种细粒度图像识别方法，其特征在于，所述方法包括：

同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别；

其中，所述利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图包括：

将一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>将所述两个特征通道输入共享卷积层并融合得到通道注意力权重/>其中，获取通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化；

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

2.根据权利要求1所述的细粒度图像识别方法，其特征在于，所述同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图包括：

同时将所述一对图像输入到特征提取网络中用于提取所述一对图像的特征；

基于所述一对图像的特征生成所述一对三维原始特征图，为F^k、F^k′：

F^k∈H^k×W^k×C^k k∈{1，2，…，S}

F^k′∈H^k′×W^k′×C^k′ k′∈{1，2，...，S}

其中，H^k、W^k、C^k、H^k′、W^k′、C^k′分别表示第k阶段一对三维原始特征图的高度、宽度和通道数，S表示常数。

3.根据权利要求1所述的细粒度图像识别方法，其特征在于，获取所述包含通道注意力的特征图F^kf和F^kf′的计算公式包括：

其中，表示逐元素相乘。

4.根据权利要求1所述的细粒度图像识别方法，其特征在于，所述压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量包括：

将所述特征图F^kf、F^kf′压缩成特征向量x₁、x₂，从所述x₁和x₂中学习交互向量x_m，其计算公式为：

x_m＝f_m([x₁，x₂])

其中，f_m(·)是[x₁，x₂]的映射函数；

在所述交互向量x_m与x_i之间执行通道级乘积，并添加一个Sigmoid函数生成门向量：

g_i＝sigmoid(x_m⊙x_i)，i∈{1，2}。

5.根据权利要求4所述的细粒度图像识别方法，其特征在于，所述利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征包括：

利用所述成对向量交互机制计算获取所述注意特征，其计算公式为：

其中，每个单独特征x_i产生两个注意特征向量，即被它自己的门向量突出显示，被另一个图像的门向量激活。

6.根据权利要求5所述的细粒度图像识别方法，其特征在于，所述将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型包括：

将所述对应的注意特征输入至一个softmax分类器中：

将输入到交叉熵损失函数中：

其中，表示预测得分向量，{W，b}为分类器的参数集，/>表示真实标签；

当训练达到预设次数时停止训练，输出训练好的神经网络模型。

7.一种细粒度图像识别装置，其特征在于，所述装置包括：

原始特征提取模块，用于同时输入一对图像，提取所述一对图像的特征，获得一对三维原始特征图；

区别特征提取模块，用于利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图；

向量生成模块，用于压缩所述一对特征图生成一对特征向量，通过学习所述一对特征向量得到交互向量，并生成门向量；

交互模块，用于利用成对向量交互机制对所述特征向量和门向量进行成对交互，得到对应的注意特征；

训练模块，用于将所述对应的注意特征输入神经网络中进行训练，获得训练好的神经网络模型用于后续的细粒度图像识别；

其中，所述利用通道注意力机制获取所述一对三维原始特征图中的区别特征所在区域，生成一对特征图包括：

将一对三维原始特征图F^k、F^k′进行卷积得到F^ck、F^ck′，将F^k、F^ck、F^k′、F^ck′进行融合分别得到特征图F^ck″、F^ck″′；

计算所述特征图F^ck″、F^ck″′像素元素最大值和像素元素平均值得到两个特征通道，分别为最大值特征通道和平均值特征通道/>将所述两个特征通道输入共享卷积层并融合得到通道注意力权重/>其中，获取通道注意力权重的计算公式包括：

其中，Conv由两个1×1卷积层和修正线性单元组成，AdaptiveMaxPool表示自适应最大池化，AdaptiveAvgPool表示自适应平均池化；

将所述通道注意力权重分别与所述F^k、F^k′进行融合，得到包含通道注意力的特征图F^kf和F^kf′，即所述区别特征所在区域。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。