CN107577758B - 一种基于多区域交叉权值的图像卷积特征的生成方法 - Google Patents

Abstract

本发明公开一种基于多区域交叉权值的图像卷积特征的生成方法，在K个特征图中模糊地标记出目标位置，利用得到的目标位置和深度卷积特征计算空间权重图；计算K个特征图在不同尺度下的区域大小，分别计算不同区域下的空间权重、通道权重和区域权重；针对每个区域利用交叉权重进行聚合操作，并将多个区域的特征向量相加，得到图像的K维特征表示。本发明生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。

Description

一种基于多区域交叉权值的图像卷积特征的生成方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于多区域交叉权值的图像卷积特征的生成方法。

背景技术

随着移动互联网的飞速发展和智能设备的广泛普及，用户每天都会上传下载海量的图像。一方面，越来越多的图像丰富了互联网上的图像资源，给人们带来了各种便利；另一方面，随着图像资源的爆炸式增长，也给人们带来了很多问题，用户难以有效地在海量的数据中准确地找到自己真正需要的信息。如何有效地组织、表达及检索图像，以便于用户可以从大量的图像数据中高效、快速地找到图像数据。

基于内容的图像检索(Content-based Image Retrieval，CBIR)是由Kato T在1992年提出的。在过去的几年中，CBIR系统主要利用图像的视觉内容提取出图像的包括SIFT、SURF、HOG和GIST等特征，将其存入图像特征库。当用户输入查询图像进行检索时，提取待查询图像的特征向量，将此特征向量与特征库进行相似度计算，从而得到检索结果。因此，CBIR中最核心的就是图像的特征表示，优秀的特征表示可以提供更高的检索准确率。

最近几年，由于深度学习的发展，卷积神经网络(CNN)在计算机视觉领域取得了重要进展，利用深度学习的网络特征进行图像的特征表示成为了一种主流方向。然而目前CNN特征描述符在“以图搜图”应用场景下存在准确率低的不足。

发明内容

本发明所要解决的是目前CNN特征描述符在“以图搜图”应用场景下准确率低的问题，提供一种基于多区域交叉权值的图像卷积特征的生成方法，使得特征更紧凑、更具有区分性和鲁棒性。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于多区域交叉权值的图像卷积特征的生成方法，包括如下步骤：

步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；

步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；

步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值

模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；

步骤4、将特征图M减去其均值

得到新的特征图

并将新的特征图

与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；

步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；

步骤6、根据空间权重图Sal，计算区域空间权重Sal_i、区域权重w_i和通道权重Channel_j；

步骤7、根据区域空间权重Sal_i、区域权重w_i和通道权重Channel_j，交叉聚合特征图X，生成新的图像特征表示；

上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

上述步骤3中，掩码图Mask为：

式中，M_(x,y)表示特征图M的位置点，Mask_(x,y)表示掩码图Mask的位置点，

表示特征图M的均值。

上述步骤4中，空间权重图Sal为：

式中，Sal_(x，y)表示空间权重图Sal的位置点，

表示新的特征图

的位置点，

表示新的特征图。

上述步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。

上述步骤5中，在采样每个尺度的区域时，允许连续区域之间有一定比率的重叠。

上述步骤6中，第i个区域的区域空间权重Sal_i为：

Sal_i＝{Sal_(x,y)}

式中，Sal_(x,y)表示空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数。

上述步骤6中，第i个区域的区域权重w_i为：

w_i＝max(A_(x,y))

式中，A_(x,y)表示空间权重图Sal的位置点的归一化值，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示区域的总数。

上述步骤6中，第j个通道的通道权重Channel_j为：

式中，nonzero_j表示每个通道中非零的数目，nzsum表示所有通道的非零数目总和，j∈[1,K]，K表示通道的总数。

上述步骤7中，生成新的图像特征表示为：

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

与现有技术相比，本发明利用不经过任何微调的CNN网络模型，使用目标模糊标记结合空间权重来进行加权操作，再引入多区域与交叉加权策略生成图像特征表示RCroW。与现有技术相比，本发明生成的图像特征表示，在应用于检索任务表现出明显优势，较好地突出图片目标区域，同时抑制了背景噪声区域，将该图像描述符应用于图像检索，能够提高检索准确率，达到精确检索的目的。

附图说明

图1为一种基于多区域交叉权值的图像卷积特征的生成方法的流程图。

图2为特征图的转换示意图。

图3为不同尺度(L＝1、2、3)在特征图上采样不同区域示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

一种基于多区域交叉权值的图像卷积特征的生成方法，如图1所示，具体包括如下步骤：

步骤1：选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤(即全连接层)，保证网络模型对图像尺寸不具有约束。

对于CNN模型的选择，可以是任意预训练过的模型，不需要在检索数据集上做任何微调处理。对于CNN模型本身，需要去除相关的全连接层，以保证图片以原先尺寸输入到CNN网络中。

在传统的深度卷积神经网络模型中，把最终获得的K个特征图从三维张量拉成一个一维的长向量，并用这个长向量代表原始图像进行运算，比如将该长向量作为特征输入一个分类器，进行图像搜索等等。但一般一维长向量维度会很高，因此可对原始特征图进行聚合操作，缩减维度并保证原始向量的区分性。

步骤2：将原始图像输入到卷积神经网络模型中，选取最后一层卷积或池化层，提取特征图

其中K为通道数目、W*H为输入特征图的空间分辨率。

本实施例中选择VGG模型作为卷积神经网络模型，选择pool5层的激活响应作为CNN特征，其中K＝512、W和H与输入图像大小相关。

步骤3：对于特征图X，从横截面角度汇聚特征图，将原先特征图转变二维特征图M。在二维特征图上利用减去图像均值的方法模糊地标记出目标的位置，并通过二值图像最大联通区域划分方式优化目标的位置，记作Mask，突出了目标位置和降低周围背景和噪声区域的影响。如图2所示。

提取出的特征图X为三维张量，目前已有的图像检索方法主要从两种角度聚合编码特征表示：如图2所示，沿虚线切割特征图，将K个2D的特征图X＝{X_j}，j＝1,2…,K，表示为K维特征向量；或者沿纵轴方向切割，表示为W*H个K维向量。两种角度虽然都有效的压缩了图像特征向量的维度，但均未考虑到特征图中噪音或者背景区域的影响，本发明采用对特征图进行空间加权策略，区分目标区域和噪声区域。从横截面角度汇聚特征图，将原先特征图转变二维特征图

对M中所有位置的激活响应求取平均值

以

作为阈值模糊决定哪些空间位置上对应于目标：激活响应高于

的位置(i,j)表示目标可能出现的位置，计算关于M的掩码图：

在特征图M上利用减去图像均值的方法模糊地标记出目标的位置后，并通过二值图像最大联通区域划分方式优化目标的位置，突出了目标位置和降低周围背景和噪声区域的影响。

步骤4：Mask模糊标记出目标区域后，将特征图M减去其均值

得到一个存在负数、零和正数的新的特征图

Mask模糊标记出目标区域后，简单的将图像目标区域外的区域标记为0值，很显然的丢弃了场景信息。为了进一步增加图像特征表示的区分能力，将新的特征图

与Mask经过相应的加权方式生成关于特征图M的空间权重图Sal。

其中

步骤5：给定特征图，如图3所示，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，同时采样每个尺度的区域时允许连续区域之间有大约40％的重叠。对于划分后的正方形区域R_i∈[1,W]×[1,H]，其中若划分出N个区域，则区域共有N个，i∈[1,N]。

本实施例中显示了L＝1，2，3时，分别采用了三种大小的窗口滑动特征图，并且在后续多区域中默认使用了尺度L＝3的情况。

步骤6：计算多区域下的空间权重Sal_i，在步骤4中计算出了整个特征图的空间权重图Sal，根据区域划分直接在Sal中划分出每个区域的Sal_i：

Sal_i＝{Sal_(x,y)}

其中Sal_(x,y)为空间权重图Sal的位置点，(x,y)属于第i个区域的位置点，{·}表示选取关于区域的一个点的集合。

步骤7：计算多区域下的区域权重w_i，本发明用一个简单有效的显著性算法，即将步骤3中的Sal作为显著图A，然后将显著图A进行最大归一化，使得每个元素p具有一个范围，A_p∈[0,1]。在显著图A上定义相同的区域，对于每个区域计算出权重w_i：

w_i＝max(A_p)

步骤8：计算每个通道的通道权重Channel_j。对多区域下的特征图X，统计每个通道中非零的数目nonzero_j，其中j∈[1,K]。计算所有通道的非零数目总和nzsum，计算通道权重：

步骤9：根据三种权重，交叉聚合特征图X^l，生成新的图像特征表示RCroW。

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

采用上述方法获得图像特征表示后，输入待查询图像Q，与数据库中特征描述符通过计算余弦相似度进行排序，选择距离较小的输出为相似图像即可完成图像检索。

本发明对将原始图像输入具有N层卷积(即N个区域)和池化的卷积神经网络后所获得的K个特征图(即K个通道)进行处理，其中N、K均为整数并且N≥1、K≥1，其处理方法包括：在K个特征图中模糊地标记出目标位置，利用得到的目标位置和深度卷积特征计算空间权重图；计算K个特征图在不同尺度下的区域大小，分别计算不同区域下的空间权重、通道权重和区域权重；针对每个区域利用交叉权重进行聚合操作，并将多个区域的特征向量相加，得到图像的K维特征表示。本发明依据是一般图片中的物体都在中心区域的特点，在深度卷积特征上预先估计目标的位置，通过多区域交叉权值的方法生成图像特征表示。生成的特征表示应用于图像检索领域，提高了检索准确率，达到精确检索的目的。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，包括如下步骤：

步骤1、选择任意一种用于分类后的卷积神经网络模型，在网络中截断分类的步骤即全连接层，保证网络模型对图像尺寸不具有约束；

步骤2、将原始图像输入到卷积神经网络模型中，提取原始图像的特征图X；

步骤3、从横截面角度汇聚特征图，将特征图由三维特征图X压缩成二维特征图M；并在特征图M上利用该特征图的均值

模糊地标记出目标的大致位置，得到关于特征图M的掩码图Mask；

步骤4、将特征图M减去其均值

得到新的特征图

并将新的特征图

与掩码图Mask经过加权后，生成关于特征图M的空间权重图Sal；

步骤5、对于特征图M，在每个尺度上进行均匀采样，实现特征图M的区域划分；

步骤6、根据空间权重图Sal，计算区域空间权重Sal_i、区域权重w_i和通道权重Channel_j；

第i个区域的区域空间权重Sal_i为：

Sal_i＝{Sal_(x,y)}

式中，Sal_(x,y)表示空间权重图Sal的位置点，(x,y)属于第i个区域的位置点；

第i个区域的区域权重w_i为：

w_i＝max(A_(x,y))

式中，A_(x,y)表示空间权重图Sal的位置点的归一化值，(x,y)属于第i个区域的位置点；

第j个通道的通道权重Channel_j为：

式中，nonzero_j表示每个通道中非零的数目，nzsum表示所有通道的非零数目总和；

步骤7、根据区域空间权重Sal_i、区域权重w_i和通道权重Channel_j，交叉聚合特征图X，生成新的图像特征表示；其中生成新的图像特征表示为：

式中，f_i,j＝Sal_i·Channel_j·X_(x,y)；w_i表示第i个区域的区域权重，Sal_i表示第i个区域的区域空间权重，Channel_j表示第j个通道的通道权重，X_(x,y)表示特征图X的位置点，(x,y)属于第i个区域的位置点，

上述i∈[1,N]，N表示划分区域的总数，j∈[1,K]，K表示通道的总数。

2.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤3中，掩码图Mask为：

式中，M_(x,y)表示特征图M的位置点，Mask_(x,y)表示掩码图Mask的位置点，

表示特征图M的均值。

3.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤4中，空间权重图Sal为：

式中，Sal_(x,y)表示空间权重图Sal的位置点，

表示新的特征图

的位置点，

表示新的特征图。

4.根据权利要求1所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤5中，在每个尺度L上均匀采样宽度为2min(W,H)/(L+1)的区域，其中W表示原始图像的宽度，H表示原始图像的高度，L表示尺度。

5.根据权利要求1或4所述的一种基于多区域交叉权值的图像卷积特征的生成方法，其特征是，步骤5中，在采样每个尺度的区域时，允许连续区域之间有一定比率的重叠。

Images