CN105095208A - 矩阵数据索引方法及装置 - Google Patents

Abstract

本发明实施例提供一种矩阵数据索引方法及装置，该方法包括：获取目标矩阵，其中，所述目标矩阵包括n×m个元素；利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；根据所述二值哈希码对所述目标矩阵进行数据索引。本发明实施例中，利用双线性哈希函数，获取目标矩阵对应的二值哈希码，然后根据二值哈希码对目标矩阵进行数据索引。目标矩阵可以是高维度的矩阵，且双线性哈希函数的时间复杂度为线性，且空间复杂度为亚线性，这样在保证了索引函数性能的同时，大大降低了计算复杂度。

Description

矩阵数据索引方法及装置

技术领域

本发明涉及数据处理技术，尤其涉及一种矩阵数据索引方法及装置。

背景技术

矩阵是一种常见的数据表达形式，广泛应用于多个领域。但是，矩阵数据往往尺寸较大，直接保存矩阵会占用较大的存储空间，也不便于对矩阵数据进行索引；当前，针对矩阵的索引，可以有多种不同的算法，其中，在矩阵维度较大时，索引函数的复杂度是一个不可忽略的问题，具体地，对于一个矩阵元素个数为百万量级，对于一些复杂度高的索引函数，其参数个数也会在百万量级，存储大量的索引函数也会耗费大量的存储空间。

现有技术中，对于矩阵数据的索引，主要是将矩阵数据展开为向量，即将矩阵逐行或逐列拼接，然后采用向量索引技术加以处理。现有的向量索引技术主要包括基于树的方法，例如：K维树（k-dtree）方法。但是，采用这种方法，在矩阵维度较高的情况下无法获取合理的计算复杂度。

另外，现有技术中，对于矩阵元素较多的情况，还采用对矩阵元素欠采样（under-sampling）的方法，这种方法通过减少参与索引计算的元素个数，降低索引函数的复杂度。但是，采用这种方法会造成有效信息的损失，从而导致索引函数性能下降。

发明内容

本发明实施例提供一种矩阵数据索引方法及装置，用于解决现有技术矩阵索引方法在矩阵维度较高的情况下无法获取合理的计算复杂度，以及有效信息损失的问题。

本发明实施例第一方面提供一种矩阵数据索引方法，包括：

获取目标矩阵，其中，所述目标矩阵包括n×m个元素；

利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；

根据所述二值哈希码进行矩阵数据索引。

结合第一方面，在第一方面的第一种可能的实施方式中，所述利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，还包括：

根据所述目标矩阵，获取预设组高斯随机变量；

其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述二值哈希码包括0和1。

结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述双线性哈希函数为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

结合第一方面的第二种可能的实施方式，在第一方面的第四种可能的实施方式中，所述利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，还包括：

根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

结合第一方面的第四种可能的实施方式，在第一方面的第五种可能的实施方式中，所述双线性哈希函数为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

本发明第二方面提供一种矩阵数据索引装置，包括：

获取模块，用于获取目标矩阵，其中，所述目标矩阵包括n×m个元素；利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；

索引模块，用于根据所述二值哈希码进行矩阵数据索引。

结合第二方面，在第二方面的第一种可能的实施方式中，所述获取模块，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取预设组高斯随机变量；

其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述二值哈希码包括0和1。

结合第二方面的第二种可能的实施方式，在第二方面的第三种可能的实施方式中，所述双线性哈希函数为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

结合第二方面的第二种可能的实施方式，在第二方面的第四种可能的实施方式中，所述获取模块，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

结合第二方面的第四种可能的实施方式，在第二方面的第五种可能的实施方式中，所述双线性哈希函数为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

本发明实施例中，利用双线性哈希函数，获取目标矩阵对应的二值哈希码，然后根据二值哈希码对目标矩阵进行数据索引。目标矩阵可以是高维度的矩阵，且双线性哈希函数的时间复杂度为线性，且空间复杂度为亚线性，这样在保证了索引函数性能的同时，大大降低了计算复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的矩阵数据索引方法实施例一的流程示意图；

图2为本发明提供的矩阵数据索引装置实施例一的结构示意图；

图3为本发明提供的矩阵数据索引装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的矩阵数据索引方法实施例一的流程示意图，如图1所示，该方法包括：

S101、获取目标矩阵。其中，该目标矩阵包括n×m个元素。该目标矩阵可表示为X∈R^n×m。该目标矩阵的每个元素可以为任意实数，且元素的个数可以超过百万量级。

可以将多个目标矩阵存储在矩阵数据库中，这些矩阵之间的相似度满足一定条件，以其中任意两个矩阵X、Y为例，它们的相似度κ(X,Y)满足下述条件：其中tr表示矩阵的迹（trace），即矩阵中所有对角线元素之和；矩阵表示矩阵X的转置矩阵；‖X-Y‖_F表示矩阵X-Y的弗罗贝尼乌斯（Frobenius）范数（简称F范数）。

可选地，可设上述矩阵数据库中所有矩阵都具有相同的F范数，即设‖X‖_F＝1，但并不以此为限。

S102、利用双线性哈希函数，获取上述目标矩阵对应的二值哈希码。

即将上述目标矩阵输入双线性哈希函数，就可以输出一系列对应的二值哈希码。

双线性哈希函数的时间复杂度为线性，且空间复杂度为亚线性。另外，该双线性哈希函数支持哈希表（hashtable）及哈希表上定义的各种操作。

S103、根据上述二值哈希码进行矩阵数据索引。

具体地，在计算获取二值哈希码之后，就可以在这些二值哈希码上建立索引结构，并在此基础上进行针对上述目标矩阵的常见数据操作，例如：针对上述目标矩阵中数据的最近邻查找。

本实施例中，利用双线性哈希函数，获取目标矩阵对应的二值哈希码，然后根据二值哈希码对目标矩阵进行数据索引。目标矩阵可以是高维度的矩阵，且双线性哈希函数的时间复杂度为线性，且空间复杂度为亚线性，这样在保证了索引函数性能的同时，大大降低了计算复杂度。

具体实现过程中，上述利用双线性哈希函数获取目标矩阵对应的二值哈希码之前，还根据目标矩阵，获取预设组高斯随机变量。其中，每组高斯随机变量包括：第一高斯随机变量和第二高斯随机变量。假设预设获取到K组高斯随机变量，一般K不会太大，可以预设K=2或3等整数。具体地，第一高斯随机变量为n维向量，即与目标矩阵的行维度相同，记为u_k，u_k∈Rⁿ，k＝1,2...K；第二高斯随机变量为m维向量，即与目标矩阵的列维度相同，记为v_k，v_k∈R^m，k＝1,2...K。该高斯随机变量的每个元素是从高斯函数分布中随机采样获得，且每个元素的生成过程是彼此独立的。

一般地，上述二值哈希码包括0和1，即目标矩阵代入上述双线性哈希函数后，输出一系列包括0、1的哈希码。

基于前述实施例，上述双线性哈希函数具体为记为公式1，其中，X表示上述目标矩阵，u_k表示第一高斯随机变量，v_k表示第二高斯随机变量，表示u_k的转置向量。

根据上述双线性哈希函数很容易看出空间复杂度取决于第一高斯随机变量u_k和第二高斯随机变量v_k的大小，即空间复杂度为该空间复杂度为亚线性的。另外，为了获取双线性哈希函数的输出，需要计算而的时间复杂度为该时间复杂度是线性的。

需要说明的是，根据中心极限定理（centrallimittheorem），多个独立随机变量的和将会组成一个新的随机变量。当变量个数增大时，新的随机变量将以更大的概率服从特定高斯分布函数。针对上述双线性哈希函数，该双线性哈希函数中的可等价于引入变量W，可知，W中的每个元素是K个具有固定均值和方差的随机变量之和，因此，根据中心极限定理，W的每个元素可近似服从高斯分布。结合前述基于F范数的矩阵样本的相似度的定义，本发明实施例中提供的双线性哈希函数还近似保持了局部敏感性（locality-sensitiveproperty）。

进一步地，在上述利用双线性哈希函数，获取上述目标矩阵对应的二值哈希码之前，还可以根据该目标矩阵，获取该目标矩阵的随机置换（randompermutation）函数。该置换函数用于计算目标矩阵的置换矩阵，该目标矩阵的置换矩阵记为φ(X)。具体地，该函数的作用在于随机交换目标矩阵中各元素的位置，以改变矩阵的特征结构（singularstructure）。

在获取置换函数的基础上，上述双线性哈希函数具体为记为公式2，其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

这一实施例中的公式2是在前述公式1基础上进行的改进，具体地，置换函数φ(X)会破坏矩阵原有的内在结构，可以使得原先的目标矩阵的秩增高。改进后的函数针对低秩矩阵会显示出更好的性能。

本发明实施例可以应用于矩阵数据的最邻近查找，即对于给定的任意矩阵（即上述目标矩阵），从数据库中找到与之最相近的一系列矩阵。具体地，当用户向矩阵数据库提交对某个矩阵样本进行查询时，最近邻查找意味着从该数据库中返回与之相似度最大的若干样本。上述相似度的计算由具体地相似度函数来决定。以图像数据为例进行说明本发明实施例的性能优势：其中矩阵的每个元素代表一个固定大小的图像块。假设有10万个矩阵，每个矩阵都为64×64的矩阵，随机选择其中1000个矩阵作为最邻近查找的输入，其中每个矩阵选择1000个最相似的矩阵作为真值，设定通过哈希表返回查找出的前5000个结果，根据返回的结果确定查全率。例如该5000个结果中包含所有1000个真值，则查全率为100%，如果包含所有1000个真值中的400个，则查全率为40%。实验表明采用本发明实施例得到的查全率高于采用现有技术得到的查全率，且大大降低了计算复杂度。

图2为本发明提供的矩阵数据索引装置实施例一的结构示意图，如图2所示，该装置包括：获取模块201和索引模块202。其中：

获取模块201，用于获取目标矩阵，其中，所述目标矩阵包括n×m个元素；利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码。

索引模块202，用于根据所述二值哈希码进行矩阵数据索引。

进一步地，获取模块201，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取预设组高斯随机变量；其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

具体地，所述二值哈希码包括0和1。

在上述实施例的基础上，双线性哈希函数可以为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

更进一步地，获取模块201，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

相应地，所述双线性哈希函数为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

该装置用于执行前述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图3为本发明提供的矩阵数据索引装置实施例二的结构示意图，如图3所示，该装置包括：存储器301和处理器302。其中：

存储器301用于存储指令集。该处理器302被配置为调用存储器301中的指令集，以执行如下流程：获取目标矩阵，其中，所述目标矩阵包括n×m个元素；利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；根据所述二值哈希码进行矩阵数据索引。

进一步地，处理器302，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取预设组高斯随机变量。其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

所述二值哈希码包括0和1。

上述双线性哈希函数可以为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

进一步地，处理器302，还可以在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

相应地，双线性哈希函数可以为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

该装置用于执行前述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（RandomAccessMemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种矩阵数据索引方法，其特征在于，包括：

获取目标矩阵，其中，所述目标矩阵包括n×m个元素；

利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；

根据所述二值哈希码进行矩阵数据索引。

2.根据权利要求1所述的方法，其特征在于，所述利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，还包括：

根据所述目标矩阵，获取预设组高斯随机变量；

其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

3.根据权利要求2所述的方法，其特征在于，所述二值哈希码包括0和1。

4.根据权利要求3所述的方法，其特征在于，所述双线性哈希函数为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

5.根据权利要求3所述的方法，其特征在于，所述利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，还包括：

根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

6.根据权利要求5所述的方法，其特征在于，所述双线性哈希函数为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

7.一种矩阵数据索引装置，其特征在于，包括：

获取模块，用于获取目标矩阵，其中，所述目标矩阵包括n×m个元素；利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码；

索引模块，用于根据所述二值哈希码进行矩阵数据索引。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取预设组高斯随机变量；

其中，每组所述高斯随机变量包括：第一高斯随机变量和第二高斯随机变量，所述第一高斯随机变量为n维向量，所述第二高斯随机变量为m维向量。

9.根据权利要求8所述的装置，其特征在于，所述二值哈希码包括0和1。

10.根据权利要求9所述的装置，其特征在于，所述双线性哈希函数为其中，X表示所述目标矩阵，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。

11.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于在利用双线性哈希函数，获取所述目标矩阵对应的二值哈希码之前，根据所述目标矩阵，获取所述目标矩阵的随机置换函数。

12.根据权利要求11所述的装置，其特征在于，所述双线性哈希函数为其中，φ(X)表示所述目标矩阵的置换函数，u_k表示所述第一高斯随机变量，v_k表示所述第二高斯随机变量，表示所述u_k的转置向量。