CN107577758A - 一种基于多区域交叉权值的图像卷积特征的生成方法 - Google Patents

Abstract

本发明公开一种基于多区域交叉权值的图像卷积特征的生成方法，在K个特征图中模糊地标记出目标位置，利用得到的目标位置和深度卷积特征计算空间权重图；计算K个特征图在不同尺度下的区域大小，分别计算不同区域下的空间权重、通道权重和区域权重；针对每个区域利用交叉权重进行聚合操作，并将多个区域的特征向量相加，得到图像的K维特征表示。本发明生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。

Description

一种基于多区域交叉权值的图像卷积特征的生成方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于多区域交叉权值的图像卷积特征的生成方法。

背景技术

随着移动互联网的飞速发展和智能设备的广泛普及，用户每天都会上传下载海量的图像。一方面，越来越多的图像丰富了互联网上的图像资源，给人们带来了各种便利；另一方面，随着图像资源的爆炸式增长，也给人们带来了很多问题，用户难以有效地在海量的数据中准确地找到自己真正需要的信息。如何有效地组织、表达及检索图像，以便于用户可以从大量的图像数据中高效、快速地找到图像数据。

基于内容的图像检索(Content-based Image Retrieval，CBIR)是由Kato T在1992年提出的。在过去的几年中，CBIR系统主要利用图像的视觉内容提取出图像的包括SIFT、SURF、HOG和GIST等特征，将其存入图像特征库。当用户输入查询图像进行检索时，提取待查询图像的特征向量，将此特征向量与特征库进行相似度计算，从而得到检索结果。因此，CBIR中最核心的就是图像的特征表示，优秀的特征表示可以提供更高的检索准确率。

最近几年，由于深度学习的发展，卷积神经网络(CNN)在计算机视觉领域取得了重要进展，利用深度学习的网络特征进行图像的特征表示成为了一种主流方向。然而目前CNN特征描述符在“以图搜图”应用场景下存在准确率低的不足。

发明内容

本发明所要解决的是目前CNN特征描述符在“以图搜图”应用场景下准确率低的问题，提供一种基于多区域交叉权值的图像卷积特征的生成方法，使得特征更紧凑、更具有区分性和鲁棒性。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于多区域交叉权值的图像卷积特征的生成方法，包括如下步骤：

步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；

步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；

步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；

步骤4、将特征图M减去其均值得到新的特征图并将新的特征图与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；

步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；

步骤6、根据空间权重图Sal，计算区域空间权重Sal_i、区域权重w_i和通道权重Channel_j；

步骤7、根据区域空间权重Sal_i、区域权重w_i和通道权重Channel_j，交叉聚合特征图X，生成新的图像特征表示；

上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

上述步骤3中，掩码图Mask为：

式中，M_(x,y)表示特征图M的位置点，Mask_(x,y)表示掩码图Mask的位置点，表示特征图M的均值。

上述步骤4中，空间权重图Sal为：

式中，Sal_(x，y)表示空间权重图Sal的位置点，表示新的特征图的位置点，表示新的特征图。

上述步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。

上述步骤5中，在采样每个尺度的区域时，允许连续区域之间有一定比率的重叠。

上述步骤6中，第i个区域的区域空间权重Sal_i为：

Sal_i＝{Sal_(x,y)}

式中，Sal_(x,y)表示空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数。

上述步骤6中，第i个区域的区域权重w_i为：

w_i＝max(A_(x,y))

式中，A_(x,y)表示空间权重图Sal的位置点的归一化值，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示区域的总数。

上述步骤6中，第j个通道的通道权重Channel_j为：

式中，nonzero_j表示每个通道中非零的数目，nzsum表示所有通道的非零数目总和，j∈[1,K]，K表示通道的总数。

上述步骤7中，生成新的图像特征表示为：

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

与现有技术相比，本发明利用不经过任何微调的CNN网络模型，使用目标模糊标记结合空间权重来进行加权操作，再引入多区域与交叉加权策略生成图像特征表示RCroW。与现有技术相比，本发明生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。

附图说明

图1为一种基于多区域交叉权值的图像卷积特征的生成方法的流程图。

图2为特征图的转换示意图。

图3为不同尺度(L＝1、2、3)在特征图上采样不同区域示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

一种基于多区域交叉权值的图像卷积特征的生成方法，如图1所示，具体包括如下步骤：

步骤1：选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤(即全连接层)，保证网络模型对图像尺寸不具有约束。

对于CNN模型的选择，可以是任意预训练过的模型，不需要在检索数据集上做任何微调处理。对于CNN模型本身，需要去除相关的全连接层，以保证图片以原先尺寸输入到CNN网络中。

在传统的深度卷积神经网络模型中，把最终获得的K个特征图从三维张量拉成一个一维的长向量，并用这个长向量代表原始图像进行运算，比如将该长向量作为特征输入一个分类器，进行图像搜索等等。但一般一维长向量维度会很高，因此可对原始特征图进行聚合操作，缩减维度并保证原始向量的区分性。

步骤2：将原始图像输入到卷积神经网络模型中，选取最后一层卷积或池化层，提取特征图其中K为通道数目、W*H为输入特征图的空间分辨率。

本实施例中选择VGG模型作为卷积神经网络模型，选择pool5层的激活响应作为CNN特征，其中K＝512、W和H与输入图像大小相关。

步骤3：对于特征图X，从横截面角度汇聚特征图，将原先特征图转变二维特征图M。在二维特征图上利用减去图像均值的方法模糊地标记出目标的位置，并通过二值图像最大联通区域划分方式优化目标的位置，记作Mask，突出了目标位置和降低周围背景和噪声区域的影响。如图2所示。

提取出的特征图X为三维张量，目前已有的图像检索方法主要从两种角度聚合编码特征表示：如图2所示，沿虚线切割特征图，将K个2D的特征图X＝{X_j}，j＝1,2…,K，表示为K维特征向量；或者沿纵轴方向切割，表示为W*H个K维向量。两种角度虽然都有效的压缩了图像特征向量的维度，但均未考虑到特征图中噪音或者背景区域的影响，本发明采用对特征图进行空间加权策略，区分目标区域和噪声区域。从横截面角度汇聚特征图，将原先特征图转变二维特征图对M中所有位置的激活响应求取平均值以作为阈值模糊决定哪些空间位置上对应于目标：激活响应高于的位置(i,j)表示目标可能出现的位置，计算关于M的掩码图：

在特征图M上利用减去图像均值的方法模糊地标记出目标的位置后，并通过二值图像最大联通区域划分方式优化目标的位置，突出了目标位置和降低周围背景和噪声区域的影响。

步骤4：Mask模糊标记出目标区域后，将特征图M减去其均值得到一个存在负数、零和正数的新的特征图Mask模糊标记出目标区域后，简单的将图像目标区域外的区域标记为0值，很显然的丢弃了场景信息。为了进一步增加图像特征表示的区分能力，将新的特征图与Mask经过相应的加权方式生成关于特征图M的空间权重图Sal。

其中

步骤5：给定特征图，如图3所示，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，同时采样每个尺度的区域时允许连续区域之间有大约40％的重叠。对于划分后的正方形区域R_i∈[1,W]×[1,H]，其中若划分出N个区域，则区域共有N个，i∈[1,N]。

本实施例中显示了L＝1，2，3时，分别采用了三种大小的窗口滑动特征图，并且在后续多区域中默认使用了尺度L＝3的情况。

步骤6：计算多区域下的空间权重Sal_i，在步骤4中计算出了整个特征图的空间权重图Sal，根据区域划分直接在Sal中划分出每个区域的Sal_i：

Sal_i＝{Sal_(x,y)}

其中Sal_(x,y)为空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，{·}表示选取关于区域的一个点的集合。

步骤7：计算多区域下的区域权重w_i，本发明用一个简单有效的显著性算法，即将步骤3中的Sal作为显著图A，然后将显著图A进行最大归一化，使得每个元素p具有一个范围，A_p∈[0,1]。在显著图A上定义相同的区域，对于每个区域计算出权重w_i：

w_i＝max(A_p)

步骤8：计算每个通道的通道权重Channel_j。对多区域下的特征图X，统计每个通道中非零的数目nonzero_j，其中j∈[1,K]。计算所有通道的非零数目总和nzsum，计算通道权重：

步骤9：根据三种权重，交叉聚合特征图X^l，生成新的图像特征表示RCroW。

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

采用上述方法获得图像特征表示后，输入待查询图像Q，与数据库中特征描述符通过计算余弦相似度进行排序，选择距离较小的输出为相似图像即可完成图像检索。

本发明对将原始图像输入具有N层卷积(即N个区域)和池化的卷积神经网络后所获得的K个特征图(即K个通道)进行处理，其中N、K均为整数并且N≥1、K≥1，其处理方法包括：在K个特征图中模糊地标记出目标位置，利用得到的目标位置和深度卷积特征计算空间权重图；计算K个特征图在不同尺度下的区域大小，分别计算不同区域下的空间权重、通道权重和区域权重；针对每个区域利用交叉权重进行聚合操作，并将多个区域的特征向量相加，得到图像的K维特征表示。本发明依据是一般图片中的物体都在中心区域的特点，在深度卷积特征上预先估计目标的位置，通过多区域交叉权值的方法生成图像特征表示。生成的特征表示应用于图像检索领域，提高了检索准确率，达到精确检索的目的。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (9)

1.一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，包括如下步骤：

步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；

步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；

步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；

步骤4、将特征图M减去其均值得到新的特征图并将新的特征图与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；

步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；

步骤6、根据空间权重图Sal，计算区域空间权重Sal_i、区域权重w_i和通道权重Channel_j；

步骤7、根据区域空间权重Sal_i、区域权重w_i和通道权重Channel_j，交叉聚合特征图X，生成新的图像特征表示；

上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

2.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤3中，掩码图Mask为：

式中，M_(x,y)表示特征图M的位置点，Mask_(x,y)表示掩码图Mask的位置点，表示特征图M的均值。

3.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤4中，空间权重图Sal为：

式中，Sal_(x,y)表示空间权重图Sal的位置点，表示新的特征图的位置点，表示新的特征图。

4.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。

5.根据权利要求1或4所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤5中，在采样每个尺度的区域时，允许连续区域之间有一定比率的重叠。

6.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤6中，第i个区域的区域空间权重Sal_i为：

Sal_i＝{Sal_(x,y)}

式中，Sal_(x,y)表示空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数。

7.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤6中，第i个区域的区域权重w_i为：

w_i＝max(A_(x,y))

式中，A_(x,y)表示空间权重图Sal的位置点的归一化值，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示区域的总数。

8.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤6中，第j个通道的通道权重Channel_j为：

式中，nonzero_j表示每个通道中非零的数目，nzsum表示所有通道的非零数目总和，j∈[1,K]，K表示通道的总数。

9.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤7中，生成新的图像特征表示为：

<mrow> <mi>F</mi> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mo>,</mo> <mn>1</mn> </mrow> </msub> <mn>...</mn> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mn>...</mn> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>K</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> </mrow>

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。