CN111563180A - 一种基于深度哈希方法的商标图像检索方法 - Google Patents

Abstract

为了克服商标图像检索基数大、速度慢和不够准确的问题，本发明提出了一种基于深度哈希方法的商标图像检索方法，利用卷积神经网络来提取商标图像的特征向量，并将其转化为二进制哈希代码，通过计算二进制哈希代码的汉明距离来比较图像的相似性特征。本发明将深度哈希方法很好的应用到了商标图像检索上，使商标图像的检索精度更高、速度更快、误差更低。

Description

一种基于深度哈希方法的商标图像检索方法

技术领域

本发明属于图像处理领域，具体涉及一种商标图像的检索方法。

背景技术

随着信息传递越来越快，人们的知识产权意识也越来越强，而商标是公司、企业、机构或个人为了使其商品或服务能够被辨识所使用的用于区分的重要标志。如何快速、准确地在一幅图像中检索出商标信息成为人们关心的重点。但是，已经注册的商标与商标申请的数量非常庞大，这对于商标图像检索技术以及商标图像检索系统的开发提出了极高的要求：能够精准地检测出所有的相似商标；对于图形的各种变化具有不变性；能够高效地进行图像检索，所需要的计算时间要尽量缩短，占用的储存资源越小越好。

现有技术中，基于内容的图像检索技术可用来搜索视觉上相似的图像，该技术的关键在于提取或学习到能够有效代表商标图像视觉特性的特征向量。用于描述自然场景图像的特征，如形状、颜色、材质等特征都可直接被用于商标图像的检索，但是，自然场景图像包含的是自然事物，往往有固定的颜色和复杂的纹理；而商标图像是一种人为设计的图像，与自然场景图像有很大的不同，其主要组成是几何图形和文本信息，其颜色变化很大，一般没有复杂的纹理，但形状可能更加复杂。商标图像的特点决定了传统的人工设计特征在商标图像检索中性能有限。

近年来，卷积神经网络(Convolutional Neural Network，CNN)发展迅速，CNN网络能够自动学习图像视觉特征的能力十分适合用于商标图像的检索，CNN网络学习到的特征能够很好地描述出商标图像的视觉内容，不仅如此，通过在普通CNN网络中加入一些特定的网络结构，如空间映射结构(Spatial Transformer Network，STN)和循环卷积结构(Recurrent Convolution Network，RCN)等，能使得学习到的特征对于商标图像中各种图形具有变换不变性，能够精确检索出经过平移、旋转、扭曲等各种变换后的相似商标图像，可极大地提升商标图像的检索精度。然而，通过这种方式提取出的深度特征是高维的特征向量，应用于大规模的商标数据检索时，需要经过长时间计算和耗费很大的储存空间。

哈希方法可以将图像数据转变成紧凑的二进制哈希码，节省大量的储存空间和计算时间。然而，现有技术中应用于图像检索的哈希方法主要为自然场景图像设计的，直接应用于商标图像检索时性能有限。

发明内容

为了克服现有技术的不足，本发明给出一种基于深度哈希方法的商标图像检索方法，利用包含不变结构的卷积网络来提取商标图像的特征向量，并将其转化为二进制哈希码，通过计算哈希码的汉明距离来比较图像的相似性特征，以此来完成精确高效的商标图像检索。

为达到上述目的，本发明提供的一种基于深度哈希方法的商标图像检索方法，包括以下步骤：

步骤1：构建深度哈希网络模型

深度哈希网络模型包括STN、RCN和哈希层；STN位于网络模型的前端，RCN位于网络模型中部，哈希层位于网络模型末端；

在STN之后连接空间转换器，空间转换器对特征图进行空间转换；空间转换器通过卷积层和池化层与RCN进行连接；

RCN包括若干个循环卷积层，在循环卷积层之间设置池化层降低维数；

在RCN之后连接哈希层，哈希层用于获取商标图像的哈希码；

在网络模型最末端，采用损失函数确保获取的商标图像哈希码与真实空间中商标图像的特征向量具有一致性；

步骤2：定义损失函数

式中，

代表矩阵之间所有元素两两相乘，W_s代表样本矩阵的权重，S_c和S_v分别表示汉明空间和原空间中的相似度矩阵，c_n表示图像的哈希码，I表示K维单位矩阵，λ和μ是正则化参数，n表示训练样本的编号，N为训练样本数量；

步骤3：深度哈希网络模型参数学习

定义哈希函数如下式：

c＝h(x)＝sgn(f(W^Tx+b))

式中，W^T表示网络权重参数，b是网络偏置参数，sgn(·)为符号函数；

近似表示为：

u＝f(W^Tx+b)

式中，W^T表示网络权重参数，b是网络偏置参数；

损失函数关于哈希函数的偏导数近似表示为：

通过下式计算损失函数τ_s关于哈希函数u的偏导数：

式中U＝[u₁,…,u_n,…,u_N]，U∈R^K×N表示近似哈希码矩阵，u_n表示每个训练样本的近似哈希码，n＝1,2,…,N，avg(·)为计算沿矩阵U的每一列向量的平均值的函数，R(·)表示将输入向量复制到大小为K×N的矩阵中；

针对训练样本，使用具有动量的随机梯度下降算法(SGD)对深度哈希网络进行训练，使损失函数最小化；当损失函数最小时，此时深度哈希网络模型参数即为最终参数；

步骤4：商标图像检索

采用下式计算待检索图像的哈希码与图像库中图像的哈希码之间的汉明距离：

式中，G表示哈希码的长度，c_ig和c_jg表示第i幅和第j幅图像的哈希码，汉明距离d_ij越小表示两幅图像中包含的商标越相似。

本发明的有益效果是：由于采用了本发明的一种基于深度哈希方法的商标图像检索方法，相比自然图像或普通人工设计的特征，更能代表商标图像的视觉特性；将集成了卷积神经网络与哈希层的深度哈希方法应用于大规模商标图像检索，节省了大量的储存空间和计算时间，显著提升了检索精度。

附图说明

图1是本发明深度哈希方法的检索框架图。

图2为深度哈希网络模型流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明提供的一种基于深度哈希方法的商标图像检索方法，如图1所示，包括以下步骤：

步骤1：构建深度哈希网络模型

深度哈希网络模型包括STN、RCN和哈希层；STN位于网络模型的前端，RCN位于网络模型中部，哈希层位于网络模型末端；

在STN之后连接空间转换器，空间转换器对特征图进行空间转换；空间转换器通过卷积层和池化层与RCN进行连接；

RCN包括若干个循环卷积层，在循环卷积层之间设置池化层降低维数；

在RCN之后连接哈希层，哈希层用于获取商标图像的哈希码；

在网络模型最末端，采用损失函数确保获取的商标图像哈希码与真实空间中商标图像的特征向量具有一致性；

步骤2：定义损失函数

式中，

代表矩阵之间所有元素两两相乘，W_s代表样本矩阵的权重，S_c和S_v分别表示汉明空间和原空间中的相似度矩阵，c_n表示图像的哈希码，I表示K维单位矩阵，λ和μ是正则化参数，n表示训练样本的编号，N为训练样本数量；

步骤3：深度哈希网络模型参数学习

定义哈希函数如下式：

c＝h(x)＝sgn(f(W^Tx+b))

式中，W^T表示网络权重参数，b是网络偏置参数，sgn(·)为符号函数；

近似表示为：

u＝f(W^Tx+b)

式中，W^T表示网络权重参数，b是网络偏置参数；

损失函数关于哈希函数的偏导数近似表示为：

通过下式计算损失函数τ_s关于哈希函数u的偏导数：

式中U＝[u₁,…,u_n,…,u_N]，U∈R^K×N表示近似哈希码矩阵，u_n表示每个训练样本的近似哈希码，n＝1,2,…,N，avg(·)为计算沿矩阵U的每一列向量的平均值的函数，R(·)表示将输入向量复制到大小为K×N的矩阵中；

针对训练样本，使用具有动量的随机梯度下降算法(SGD)对深度哈希网络进行训练，使损失函数最小化；当损失函数最小时，此时深度哈希网络模型参数即为最终参数；

步骤4：商标图像检索

采用下式计算待检索图像的哈希码与图像库中图像的哈希码之间的汉明距离：

式中，G表示哈希码的长度，c_ig和c_jg表示第i幅和第j幅图像的哈希码，汉明距离d_ij越小表示两幅图像中包含的商标越相似。

实施例：

本实施例使用NPU-TM数据库进行实验，该数据库包含7139个商标图像，其中有319组视觉上相似的商标图像，其余的商标图像都与其他图像不相同。在相似的图像组中，平均每组有13.8幅图像，最多的一组有52幅图像。

(1)采用步骤1构建深度哈希网络模型，如图2所示，深度哈希网络模型包括STN、RCN和哈希层，在模型中同时学习商标图像的特征向量和哈希函数；在网络模型的末端，使用一个对样本增加权重的损失函数，来确保提取出的哈希码与真实空间中的特征向量具有一致性。网络模型如附图2所示。

在STN之后插入了一个可学习的模块，即空间转换器，使网络能够自动对特征图进行空间转换。RCN在前馈卷积层内添加循环连接，从而产生多尺度接收域。具有多尺度接受域的循环结构对图形单元的缩放变换具有鲁棒性。本实施例采用了一个前馈卷积层和多个循环卷积层(RCL)，在每个卷积层之间，采用最大池化操作减小维数。

为了提升STN和RCN的稳定性，在每一个卷积层之后都使用下式进行批归一化：

式中,z表示归一化值，v是中间卷积层的逐元素输出，E[v]和Var[v]是批量均值和方差，γ和β是批量学习参数，∈是表示数值稳定性的常数。

(2)采用步骤2计算损失函数。通过训练提取出来的哈希码必须保持商标图像的视觉特性，并且在哈希空间中的相似点应保证和原空间中的相似点一致。根据多标签、有监督的哈希损失函数，本发明定义了一个基于成对相似性的损失函数：

式中，S_c和S_v分别表示汉明空间和原空间中的相似度矩阵，c_n表示图像的哈希码，I表示K维单位矩阵，λ和μ是正则化参数，n表示训练样本的编号，N为训练样本数量。

在上面损失函数的基础上，继续降低易搜索样本的权重，加大难以搜索样本的权重。这种样本被权衡后的损失函数可表示如下：

式中，

代表矩阵之间每个元素的相乘，W_s代表样本矩阵的权重，W_s(m,n)的计算公式为：

式中，S_c(m,n)代表图像I_m和I_n在汉明空间中的样本对相似度，可以由

计算获得，c_m和c_n分别表示两幅图像的哈希码，S_v(m,n)表示图像I_m和I_n在原始空间中的相似度。

(3)采用步骤3学习深度哈希网络模型参数。

在训练过程中，本发明采用的是SGD算法，在使用该算法训练神经网络的过程中，训练速度往往存在较大的波动。当网络模型的错误率和代价函数值比较大的时候，该算法具有较快的训练速度，但是如果训练模型进入到准确率较高、代价函数值较小的阶段时，神经网络的训练速度会变得缓慢。在这个过程中，学习率设置过大还是过小都会导致网络参数未达到最优解的问题。因此本实施例将STN网络和RCN网络的最优解分开设置，在STN网络中，学习率设置为1×10^-5，在RCN网络中学习率设置为1×10^-8，从而保证了网络模型的迭代效果并且使得计算成本得到了控制。

将图像调整为150×150大小以提取固定尺寸的特征。为了不引入形变，将非平方图像调整为具有零填充的平方图像。调整大小后的图像输入到深度哈希网络模型中，以获取哈希码。

同时，为了避免过度拟合，本实施例采用数据扩充训练深度哈希网络模型。由于负样本(非相似对)远远多于正样本(相似对)，因此仅对正样本执行数据扩充，即使用灰度变换、水平翻转和缩放三种增强策略。其中，由于图像金字塔由多个缩放因子构成，因此对于图像中的商标区域采用五个因子，即0.5、0.8、1.0、1.2和1.5。

损失函数中的正则常数λ和μ分别设定为0.001和0.002。在SGD中，动量设置为0.9，权重衰减设置为0.0005。迭代目标值的停止标准设置为1。开始时学习率设置为1×10^-5，在微调预训练模型的情况下，学习率设置为1×10^-7。遍历所有样本后，进行样本随机重新分配时，所有学习率都乘以阻尼系数0.8，来降低学习速度。

经过上述过程，确定深度哈希网络模型中的各个参数，即可用于商标图像检索。

(4)输入待检索商标图像，采用步骤4计算待检索图像的哈希码与图像库中图像的哈希码之间的汉明距离，汉明距离越小表示两幅图像中包含的商标越相似。

为度量检索性能，采用MAP标准衡量哈希深度网络模型的表现。MAP值通过以下公式计算：

式中，q表示检索值序号，Q表示检索值总数，avg(·)表示计算精确度的平均值，P(q)是精确度函数，表示与待检索图像相似的图像数量与数据库中总图像数目之比。

Claims (1)

1.一种基于深度哈希方法的商标图像检索方法，其特征在于，包括以下步骤：

步骤1：构建深度哈希网络模型

深度哈希网络模型包括STN、RCN和哈希层；STN位于网络模型的前端，RCN位于网络模型中部，哈希层位于网络模型末端；

在STN之后连接空间转换器，空间转换器对特征图进行空间转换；空间转换器通过卷积层和池化层与RCN进行连接；

RCN包括若干个循环卷积层，在循环卷积层之间设置池化层降低维数；

在RCN之后连接哈希层，哈希层用于获取商标图像的哈希码；

在网络模型最末端，采用损失函数确保获取的商标图像哈希码与真实空间中商标图像的特征向量具有一致性；

步骤2：定义损失函数

式中，

代表矩阵之间所有元素两两相乘，W_s代表样本矩阵的权重，S_c和S_v分别表示汉明空间和原空间中的相似度矩阵，c_n表示图像的哈希码，I表示K维单位矩阵，λ和μ是正则化参数，n表示训练样本的编号，N为训练样本数量；

步骤3：深度哈希网络模型参数学习

定义哈希函数如下式：

c＝h(x)＝sgn(f(W^Tx+b))

式中，W^T表示网络权重参数，b是网络偏置参数，sgn(·)为符号函数；

近似表示为：

u＝f(W^Tx+b)

式中，W^T表示网络权重参数，b是网络偏置参数；

损失函数关于哈希函数的偏导数近似表示为：

通过下式计算损失函数τ_s关于哈希函数u的偏导数：

式中U＝[u₁,…,u_n,…,u_N]，U∈R^K×N表示近似哈希码矩阵，u_n表示每个训练样本的近似哈希码，n＝1,2,…,N，avg(·)为计算沿矩阵U的每一列向量的平均值的函数，R(·)表示将输入向量复制到大小为K×N的矩阵中；

针对训练样本，使用具有动量的随机梯度下降算法(SGD)对深度哈希网络进行训练，使损失函数最小化；当损失函数最小时，此时深度哈希网络模型参数即为最终参数；

步骤4：商标图像检索

采用下式计算待检索图像的哈希码与图像库中图像的哈希码之间的汉明距离：

式中，G表示哈希码的长度，c_ig和c_jg表示第i幅和第j幅图像的哈希码，汉明距离d_ij越小表示两幅图像中包含的商标越相似。

Images