CN110704655B - 在线多量化图像检索方法 - Google Patents

Abstract

本发明公开了一种在线多量化图像检索方法，将基于流数据相关性学习的多量化技术用于大规模在线图像检索，有效的提升搜索效果，并且，在学习过程中不更新二进制码，仅仅更新小规模的码本，可以减少重新计算流数据二进制码的负担，提升学习效率。

Description

在线多量化图像检索方法

技术领域

本发明涉及图像检索技术领域，尤其涉及一种在线多量化图像检索方法。

背景技术

在许多实际应用中，多媒体数据往往以流的形式存在。例如，著名的搜索引擎公司(谷歌等)每天都会有大量的新网页和图像不断到达数据中心。在这样的环境下，查询图像必须连续的基于当前的总数据流进行用户检索的响应。

然而，当前在图像检索领域，大多数现有的哈希方法是基于批次学习方式。这也意味着当新数据到达时，现有哈希方法必须累积所有可用数据并重新训练新的哈希函数，这显然是一种效率较低的流数据学习方式。

现有的在线哈希方法在更新哈希函数后，仅需要重新计算流数据的二进制码，相较于现有哈希方法，虽然在线哈希方法可以提高流数据学习的效率，但是，学习效率依然有较大的提升空间；此外，由于流数据只能够在训练中利用一次，现有在线哈希方法往往不能很好的利用流数据之间的语义关联信息，导致检索精度不高。

发明内容

本发明的目的是提供一种在线多量化图像检索方法，有效的提升了检索精度与学习效率高。

本发明的目的是通过以下技术方案实现的：

一种在线多量化图像检索方法，包括：

对于t时刻的流数据，遵循在线哈希设置，通过映射矩阵获取流数据的特征，利用乘积量化技术获得流数据特征量化后的二进制码，并保存；同时，对t时刻流数据进行多次量化，重构出流数据特征，用于下一时刻映射矩阵的训练；

利用前t-1时刻重构出的前t-1时刻的流数据特征，与t时刻的流数据特征之间的相关性来训练映射矩阵，以及利用t时刻流数据特征对应的二进制码来更新特征量化时所使用的子码本；

当接收到图像检索指令时，采用同样的方式获取待检索流数据特征量化后的二进制码，基于待检索流数据对应的二进制码与之前保存的各个流数据特征对应的二进制码，查询预先计算好的码本距离表，得到待检索流数据与各个流数据特征的相似度，根据相似度大小进行排序，获得检索结果。

由上述本发明提供的技术方案可以看出，将基于流数据相关性学习的多量化技术用于大规模在线图像检索，有效的提升搜索效果，并且，在学习过程中不更新二进制码，仅仅更新小规模的码本，可以减少重新计算流数据二进制码的负担，提升学习效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种在线多量化图像检索方法的流程图；

图2为本发明实施例提供的在线多量化方法整体架构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种在线多量化图像检索方法，该方法可以应用于在线搜索软件，对查询图像进行快速准确的检索。在实施上，可以以软件的方式安装于用户的工作电脑，提供实时检索；也可以安装于后台服务器，提供大批量后台检索。

如图1所示，为在线多量化图像检索方法的流程图；如图2所示，为在线多量化方法整体架构图。该方法主要包括：

1、对于t时刻的流数据，遵循在线哈希设置，通过映射矩阵获取流数据的特征，利用乘积量化技术获得流数据特征量化后的二进制码，并保存；同时，对t时刻流数据进行多次量化，重构出流数据特征，用于下一时刻映射矩阵的训练。

本步骤的优选实施方式如下：

遵循在线哈希设置，通过映射矩阵获取t时刻的流数据特征，并利用乘积量化技术获得t时刻的流数据特征量化后的二进制码：

B^t＝Q(W^tTX^t)＝Q(Z^t)

上式中，X^t是t时刻的流数据，W^t是t时刻的映射矩阵，Z^t是t时刻流数据的特征矩阵，Q(·)是量化函数，B^t是t时刻流数据量化后的二进制码。

乘积量化技术操作过程如下：

利用乘积量化技术将Z^t所在的特征空间划分为M个子空间，得到M段子特征向量；如果t＝1，即初始时刻，则通过k-means聚类，获得M个聚类中心，构成M个子码本

再利用M个子码本对流数据的特征向量进行量化，得到t时刻流数据的特征索引：

上式中，q(·)是子空间的量化器，定义为：

即与子特征向量距离最近的子码本向量所对应的数字即为子特征向量索引，其中的

是第m个子码本的第k个向量，

是特征矩阵中Z^t中第m段子特征向量。子码本的数目M为自然数，其具体取值可以由用户根据实际情况自行设定。

上述方式得到的z_ind为十进制的，通过二进制转换即为上文提到的二进制码B^t。

示例性的，假设Z^t是一个128维，将其分为M＝8段，则每一子特征向量向量为16维；每一子特征向量都通过计算最近子码本向量得到相应的索引，通过二进制转码得到二进制码B^t。

本领域技术人员可以理解，文中所涉及的流数据主要是指图像流数据。

本发明实施例中，需要进行流数据特征的重构，为了便于流数据精确重构，预先设计多个残差码本，每次量化后计算量化残差并进行多次量化，从而重构流数据特征；针对Z^t中的子特征向量

做如下操作：

上式中，

为子特征向量

的重构结果；

代表使用第一次量化时的子码本

进行量化，返回的是量化后的特征向量，量化后的特征向量的索引值也即

计算结果；

代表利用第二次、第N-1次量化时的设计的残差码本进行量化操作，返回相应的量化后的特征向量r₂、r_N-1，随着量化次数的增加，对应残差码本中向量的值逐渐减小。N为量化次数，示例性的，可以设置N＝3或者4。

第一次量化时，使用的子码本

是通过上一时刻更新得到，如果当前时刻为初始时刻，则通过k-means聚类能够获得聚类中心，然后保存为第一次量化的码本。多个残差码本的意思是：进行第二次量化的时候，先计算第一次量化获得的特征向量的残差：

将其作为待量化的特征向量，此时的待量化特征向量的值相对小一点。为了更好的量化，通过随机生成大量的特征向量，这些向量聚类后得到的码本被称为残差码本，此处量化时，残差码本中子码本向量的值比第一次的小；同理，之后的量化，也采用类似原理设计一个残差码本，随着量化次数的增加码本中子码本向量的值逐渐减小。

通过以上操作重构出所有的子特征向量，从而构成重构后的流数据特征矩阵

将

做归一化处理，得到V^t。

2、利用前t-1时刻重构出的前t-1时刻的流数据特征，与t时刻的流数据特征之间的相关性来训练映射矩阵，以及利用t时刻流数据特征对应的二进制码来更新特征量化时所使用的子码本。

本发明实施例中，前t-1时刻的流数据特征量化的方式与前文介绍的方式相同，故不再赘述。

如图2所示，为了更好的提取后续时刻流数据的特征，本发明实施例基于流数据相关性来训练映射矩阵。同时，为了避免现有的在线哈希方法频繁的重新计算流数据二进制码，本发明实施例中，在学习过程中不更新二进制码，仅仅更新小规模的子码本，尽可能的使得码本向量处于聚类中心，下一时刻的量化则使用更新后的子码本。

1)训练映射矩阵。

图像检索中认为同一类别的图像是相似的，相似度定义为1，不同类别图像是不相似的，相似度定义为-1。在在线检索任务中，认为当前流数据与历史数据若是同一类的，那么特征内积需要尽可能大，反之尽可能小。将特征内积归一化后，设计了在线检索中的非对称语义损失：

上式中，

表示重构出的前t-1时刻流数据特征矩阵的归一化结果，

其中每一项表示重构的相应时刻流数据特征矩阵的归一化结果；U^t表示t时刻流数据特征矩阵的归一化结果，S^t为t时刻的流数据特征与前t-1时刻流数据特征的相似度矩阵，根据流数据的标签，同一类的S_ij＝1，不同类的为S_ij＝-1，这是一种监督信息，i、j为相似度矩阵中的行、列号；T为矩阵转置符号。

V¹,V²,…,V^t-1的计算方式与前文介绍的V^t计算方式完全相同，即，通过多次量化得到。

为了减少量化过程中产生的量化误差，去除映射后的冗余信息，目标函数为：

上式中，λ与β均为超参数，W^t是映射矩阵，

是映射矩阵W^t中第m段，

是第m个子码本，

是t时刻的流数据的第m段特征索引对应的独热向量，也即利用前文q(•)定义的式子计算出k(其为十进制的数字)，再转化为独热向量即为

L_q是量化损失函数；

意思是：t时刻的流数据对应在码本中的向量；

是衡量了量化前后带来的误差；

为了优化此目标函数，将归一化系数和相似度矩阵相结合，将目标函数转化为最小二乘问题：

其中，

是S^t与Z^t归一化系数的点积，

代表

的右逆。

通过最小二乘算法求解目标函数，获得映射矩阵更新公式：

上式中，W^t'为更新后的映射矩阵，用于下一时刻流数据特征的获取；I代表单位矩阵，

H代表t时刻流数据对应索引的独热向量矩阵。

2)子码本更新。

如前所述，在初始时刻，M个子码本是利用大量随机生成的向量构建的，之后的t时刻，可以利用相应的流数据特征来更新t-1时刻的M个子码本。

第m个子码本的第k个向量C_mk的更新方式为：

上式中，

表示t时刻流数据特征矩阵中Z^t中第m段子特征向量

量化后索引为k的特征向量，

为更新后的第m个子码本的第k个向量，ε是超参数控制更新速率。通过上述方式，大大提升了在线检索的学习效率。

3、当接收到图像检索指令时，采用同样的方式获取待检索流数据特征量化后的二进制码，基于待检索流数据对应的二进制码与之前保存的各个流数据特征对应的二进制码，查询预先计算好的码本距离表，得到待检索流数据与各个流数据特征的相似度，根据相似度大小进行排序，获得检索结果。

待检索流数据s量化方式与前文介绍的方式完全相同，即利用上一时刻更新后的子码本进行量化，获得二进制码B^s，而之前处理过程将保存一系列流数据(可称为历史流数据)特征量化后的二进制码。如之前介绍的，二进制码代表子码本中相应向量的索引。

可以预先计算好码本距离表，通过距离用来表征相似度，因此，在得到待检索流数据s的量化结果后，通过查表的方式快速计算待检索流数据s与各个流数据的相似度，从而快速获得检索结果；此阶段是是乘积量化方法检索的原理，具体执行方式可以参见现有技术。

与现有方法相比，本发明提供的上述方法基于在线多量化技术，精度高，学习速度快。在三个大规模的数据集上精度提升了3％，实现了当前的最好精度结果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种在线多量化图像检索方法，其特征在于，包括：

对于t时刻的流数据，遵循在线哈希设置，通过映射矩阵获取流数据的特征，利用乘积量化技术获得流数据特征量化后的二进制码，并保存；同时，对t时刻流数据进行多次量化，最终重构出流数据特征，用于下一时刻映射矩阵的训练；其中，对t时刻流数据进行多次量化，重构出流数据特征的步骤包括：预先设计多个残差码本，每次量化后计算量化残差并进行多次量化，从而重构流数据特征；

利用重构出的前t-1时刻的流数据特征，与通过映射矩阵获取的t时刻的流数据特征之间的相关性来训练映射矩阵，以及利用通过映射矩阵获取的t时刻流数据特征对应的二进制码来更新特征量化时所使用的子码本；

当接收到图像检索指令时，采用同样的方式获取待检索流数据特征量化后的二进制码，基于待检索流数据对应的二进制码与之前保存的各个流数据特征对应的二进制码，查询预先计算好的码本距离表，得到待检索流数据与各个流数据特征的相似度，根据相似度大小进行排序，获得检索结果；

其中，利用重构出的前t-1时刻的流数据特征，与t时刻的流数据特征之间的相关性来训练映射矩阵包括：图像检索中认为同一类别的图像是相似的，相似度定义为1，不同类别图像是不相似的，相似度定义为-1；将特征内积归一化后，设计了在线检索中的非对称语义损失：

上式中，

表示重构出的前t-1时刻流数据特征矩阵的归一化结果，

其中每一项表示重构的相应时刻流数据特征矩阵的归一化结果；U^t表示t时刻流数据特征矩阵的归一化结果，S^t为t时刻的流数据特征与前t-1时刻流数据特征的相似度矩阵，T为矩阵转置符号；

目标函数为：

上式中，λ与β均为超参数，W^t是映射矩阵，L_q是量化损失函数；

子码本更新公式为：

上式中，

表示t时刻流数据特征矩阵中Z^t中第m段子特征向量

量化后索引为k的特征向量，

'分别为更新前、后的第m个子码本的第k个向量，ε是超参数控制更新速率。

2.根据权利要求1所述的一种在线多量化图像检索方法，其特征在于，对于t时刻的流数据，遵循在线哈希设置，通过映射矩阵获取当前流数据的特征，利用乘积量化技术获得当前流数据特征量化后的二进制码包括：

遵循在线哈希设置，通过映射矩阵获取t时刻的流数据特征，并利用乘积量化技术获得t时刻的流数据特征量化后的二进制码：

B^t＝Q(W^tTX^t)＝Q(Z^t)

上式中，X^t是t时刻的流数据，W^t是t时刻的映射矩阵，Z^t是t时刻流数据的特征矩阵，Q(·)是量化函数，B^t是t时刻流数据量化后的二进制码。

3.根据权利要求2所述的一种在线多量化图像检索方法，其特征在于，乘积量化技术操作过程如下：

利用乘积量化技术将特征矩阵Z^t所在的特征空间划分为M个子空间，得到M段子特征向量；如果t＝1，即初始时刻，则通过k-means聚类，获得M个聚类中心，构成M个子码本

再利用M个子码本对流数据的特征向量进行量化，得到t时刻流数据的特征索引：

上式中，q(·)是子空间的量化器，定义为：

即与子特征向量距离最近的子码本向量所对应的数字即为子特征向量索引，其中的

是第m个子码本的第k个向量，

是特征矩阵中Z^t中第m段子特征向量。

4.根据权利要求3所述的一种在线多量化图像检索方法，其特征在于，对t时刻流数据进行多次量化，重构出流数据特征的步骤包括：

针对特征矩阵Z^t中的子特征向量

做如下操作：

上式中，

为子特征向量

的重构结果；

代表使用第一次量化时的子码本

进行量化，返回的是量化后的向量；

代表利用第二次、第N-1次量化时的设计的残差码本进行量化操作，返回相应的量化后的向量r₂、r_N-1，随着量化次数的增加，对应残差码本中向量的值逐渐减小；N为量化次数；

通过以上操作重构出所有的子特征向量，从而构成重构后的流数据特征矩阵

5.根据权利要求1或4所述的一种在线多量化图像检索方法，其特征在于，训练映射矩阵时目标函数表示为：

上式中，λ与β均为超参数，W^t是映射矩阵，

是映射矩阵W^t中第m段，X^t是t时刻的流数据，

是第m个子码本，

是t时刻的流数据的第m段特征索引对应的独热向量，L_q是量化损失函数；

将归一化系数和相似度矩阵相结合，将目标函数转化为最小二乘问题：

其中，

是相似度矩阵S^t与特征矩阵Z^t归一化系数的点积，

代表

的右逆；

通过最小二乘算法求解目标函数，获得映射矩阵更新公式：

上式中，W^t'为更新后的映射矩阵，用于下一时刻流数据特征的获取；I代表单位矩阵，

H代表t时刻流数据对应索引的独热向量矩阵。

Images