CN115827624A - 检索数据的处理方法、数据检索方法、装置及电子设备 - Google Patents

Abstract

本公开关于一种检索数据的处理方法、数据检索方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，通过获取检索数据，针对属性特征相同的目标检索数据，生成与属性特征对应的图结构，并根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，进而将目标图结构中每一个节点的初始特征向量转换为目标特征向量，从而得到向量转换后的目标图结构。其通过采用精度较高的初始特征向量构建图结构，从而能够提高图结构中的邻域质量，且在建图过程中考虑了检索数据的属性特征，因此能够用于带属性的检索；通过在建图完成后，将每个节点的较高精度的向量转换为低精度的向量，还能提高后续检索的效率。

Description

检索数据的处理方法、数据检索方法、装置及电子设备

技术领域

本公开涉及数据处理技术领域，尤其涉及一种检索数据的处理方法、数据检索方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术

随着数据处理技术的发展，越来越多的场合需要将非结构的数据抽象为向量。在对大量级的高维度数据进行精确的检索时，通常需要非常昂贵的时间开销。为此有人提出了近似邻居查询的向量检索算法，近似邻居查询的向量算法可以在较短的时间内，实现对向量的近似邻居查询。

但是，随着现代推荐系统的发展，要求在对向量进行检索的同时，还需要加入属性的约束，如数据的类目或者归属的实体类别等。相关技术中，对于带属性的向量检索主要有两种方法：一种是基于向量进行相似计算，然后再针对属性进行过滤；另一种是先利用属性进行过滤，随后只在满足条件的向量域内进行检索。

然而，第一种方法中，由于向量相似的数据未必是属性相同的数据，而向量搜索本身并没有考虑属性条件，导致搜索出来的向量结果与属性完全没有关联，这种方法随着属性条件组合数量的增加，召回能力会显著的降低。而第二种方法依赖于预先的属性过滤和筛选，因此不能使用图索引，且当属性数量增加时过滤成本也会大幅增加。因此，目前对于带属性的向量检索，存在召回能力低以及成本高的问题。

发明内容

本公开提供一种检索数据的处理方法、数据检索方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决相关技术中针对带属性的向量检索召回能力低以及成本高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种检索数据的处理方法，包括：

获取检索数据，所述检索数据包括对应的初始特征向量和属性特征；

针对所述属性特征相同的目标检索数据，生成与所述属性特征对应的图结构，所述图结构包括多个节点，每个所述节点包括所述目标检索数据的初始特征向量和对应的属性特征；

根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构；

将所述目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

在其中一个实施例中，所述图结构的多个节点中至少一个节点具有第一邻居节点，所述第一邻居节点是所述图结构中节点的初始特征向量与所述至少一个节点的初始特征向量之间的距离满足第一预设条件的节点；所述根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，包括：针对所述图结构的每个节点，确定对应的第二邻居节点，所述第二邻居节点是对应的属性特征与所述节点的属性特征之间的相似度满足第二预设条件的节点；建立每个节点与对应的第二邻居节点之间的连接关系，得到连接后的目标图结构。

在其中一个实施例中，所述建立每个节点与对应的第二邻居节点之间的连接关系之后，所述方法还包括：记录每个节点的节点信息，所述节点信息包括所述节点的初始特征向量和对应的属性特征、以及所述节点对应的第一邻居节点和第二邻居节点。

在其中一个实施例中，所述初始特征向量为具有第一字节数的浮点数向量，所述目标特征向量为具有第二字节数的整数向量，所述第一字节数大于所述第二字节数。

在其中一个实施例中，所述获取检索数据之后，所述方法还包括：根据所述检索数据对应的属性特征，确定预设数量的目标属性特征，所述目标属性特征用于表征检索起点。

在其中一个实施例中，所述检索数据包括文本数据、图像数据、音频数据或视频数据中的至少一种。

根据本公开实施例的第二方面，提供一种数据检索方法，包括：

获取数据检索请求，所述数据检索请求中包括待检索数据和所述待检索数据对应的属性特征；

在根据如上第一方面所述的检索数据的处理方法得到的向量转换后的目标图结构中，确定所述属性特征匹配的目标属性特征；

将所述目标属性特征作为检索入口，检索得到与所述待检索数据的属性特征相同且与所述待检索数据的数据相似度满足相似度条件的检索数据，将所述检索数据作为检索结果。

在其中一个实施例中，所述目标图结构中包括预设数量的目标属性特征；所述确定所述属性特征匹配的目标属性特征，包括：获取所述属性特征分别与各目标属性特征之间的相似度；将所述相似度最大的目标属性特征确定为与所述属性特征匹配的目标属性特征。

在其中一个实施例中，所述待检索数据包括与所述检索数据的目标特征向量的向量格式相同的特征向量。

根据本公开实施例的第三方面，提供一种检索数据的处理装置，包括：

检索数据获取模块，被配置为执行获取检索数据，所述检索数据包括对应的初始特征向量和属性特征；

图结构生成模块，被配置为执行针对所述属性特征相同的目标检索数据，生成与所述属性特征对应的图结构，所述图结构包括多个节点，每个所述节点包括所述目标检索数据的初始特征向量和对应的属性特征；

目标图结构生成模块，被配置为执行根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构；

向量转换模块，被配置为执行将所述目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

根据本公开实施例的第四方面，提供一种数据检索装置，包括：

检索请求获取模块，被配置为执行获取数据检索请求，所述数据检索请求中包括待检索数据和所述待检索数据对应的属性特征；

属性特征匹配模块，被配置为执行在根据如上第一方面所述的检索数据的处理方法得到的向量转换后的目标图结构中，确定所述属性特征匹配的目标属性特征；

检索模块，被配置为执行将所述目标属性特征作为检索入口，检索得到与所述待检索数据的属性特征相同且与所述待检索数据的数据相似度满足相似度条件的检索数据，将所述检索数据作为检索结果。

根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上第一方面所述的检索数据的处理方法或者实现如上第二方面所述的数据检索方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的检索数据的处理方法或者执行如上第二方面所述的数据检索方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的检索数据的处理方法或者执行如上第二方面所述的数据检索方法。

本公开的实施例提供的技术方案至少带来以下有益效果：通过获取检索数据，针对属性特征相同的目标检索数据，生成与属性特征对应的图结构，并根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，进而将目标图结构中每一个节点的初始特征向量转换为目标特征向量，从而得到向量转换后的目标图结构。由于本实施例通过采用精度较高的初始特征向量构建图结构，从而能够提高图结构中的邻域质量，且在建图过程中考虑了检索数据的属性特征，因此能够用于带属性的检索；通过在建图完成后，将每个节点的具有较高精度的初始特征向量转换为低精度的目标特征向量，还可以提高后续检索的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种检索数据的处理方法的流程图。

图2是根据一示例性实施例示出的连接图结构步骤的流程图。

图3是根据另一示例性实施例示出的一种检索数据的处理方法的流程图。

图4是根据一示例性实施例示出的一种数据检索方法的流程图。

图5是根据一示例性实施例示出的确定目标属性特征步骤的流程图。

图6是根据一示例性实施例示出的一种检索数据的处理装置的框图。

图7是根据一示例性实施例示出的一种数据检索装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

图9是根据另一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

相关技术中，对于普通向量检索而言，主要包括两种方法：一种是对向量进行量化压缩，通过一定程度上的数据精度损失来加快数据的运算。另一种是使用图索引的方法，将距离近的向量作为图邻居，查询的时候在图中进行检索，从而加快检索的速度。常用的量化往往是基于速度和精度的权衡，即以损失一定精度为代价换取查询效率的提升和内存空间的节省。

而对于带属性的向量检索，相关技术一提出了一种先进行向量搜索，然后对向量搜索结果通过标签进行过滤的方法。这种方法只需要扩大向量搜索的候选结果，就可以很容易拓展到相关的向量检索的方案中，无论是图索引的方法，还是量化压缩的方法。然而，许多的向量搜索方法对于候选集大小十分敏感，扩大候选集大小会导致搜索的性能极具降低。此外，向量搜索本身并没有考虑属性条件，导致搜索出来的向量结果与属性可能完全没有关联，这种方法随着属性条件组合数的增加，召回能力也会显著的降低。

相关技术二提出了基于乘积量化(Product Quantization，简称PQ量化)的属性查询处理框架，通过提前对向量进行PQ量化压缩存储，查询时先扫描出所有满足属性条件的特征，再进行查询。为了减少扫描属性条件的开销，在上述基础上，还提出了可以根据属性值将数据分区存储，相邻的属性值会存储在一起，查询的时候可以根据属性值快速查找对对应的分区，以减少扫描空间。然而，此种方法通过先对向量进行属性过滤，然后对筛选出的向量进行检索，这种方法虽然可以保证很高的召回率，但随着属性类目的增加，其过滤效率会进一步降低，从而不能保证检索的效率。又由于这种方法的一部分开销在属性过滤上，因此量化只能对部分过程进行加速，加速效果并不明显。且这种方法不能用在图索引当中，只能用在PQ量化压缩的近邻查询算法中。

相关技术三提出了一种基于图索引的属性查询处理框架。该框架通过将向量距离和属性距离混合起来，向量距离使用内积距离，属性距离使用异或距离。在混合距离中向量距离占据主导地位，属性距离仅仅是微调。由于该方法没有将属性距离放至主导地位，在属性数目较少的场景下能保证较高的召回率，当属性数量增加时，召回率会急剧的下降。此外，通过使用异或的方法处理属性，随着属性组合数目的增加，越来越多的属性会被混合为一样的属性，如对于属性值1而言，所有不是1的属性值都是相同的，这样会导致属性导航作用的丧失，从而无法保证找回的特征一定满足属性条件。

基于此，如图1所示，提供了一种检索数据的处理方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

在步骤S110中，获取检索数据。

其中，检索数据可以是用于进行数据检索的数据素材,也即检索时所依赖的数据资源。检索数据可以包括文本数据、图像数据、音频数据或视频数据中的至少一种。具体地，检索数据包括对应的初始特征向量和属性特征。其中，属性特征用于表征检索数据的数据类别、数据属性等，例如，是文本数据还是图像数据或者是其他数据等。初始特征向量则是对检索数据进行向量化后的一种向量表现形式，例如，通过对某一图像数据进行向量化处理，可以得到该图像数据对应的初始特征向量。

在本实施例中，检索数据可以是预先存储在服务器中的，也可以是存储在服务器可以访问的其他数据存储系统中的。本实施例为了实现带属性的向量检索，服务器首先获取检索数据，并通过下述步骤进行相应的处理。

在步骤S120中，针对属性特征相同的目标检索数据，生成与属性特征对应的图结构。

其中，图结构是一种非线性结构。具体地，图结构可以包括多个节点，在图结构中，任意两个节点之间都可能相关，即节点之间的邻接关系可以是任意的。在本实施例中，图结构的每个节点包括目标检索数据的初始特征向量和对应的属性特征。

具体地，服务器针对上述获取的检索数据，可以按检索数据所对应的属性特征对其进行分类，并对属性特征相同的目标检索数据，生成与属性特征对应的图结构。即对每一属性特征下的目标检索数据，分别生成与属性特征对应的图结构。例如，若检索数据中存在n种属性特征，则可以生成对应的n个图结构，每个图结构的节点由对应属性特征下的目标检索数据组成。具体地，针对属性特征Mi(表示第i种属性特征，其中i为1至n中的任意数)下的目标检索数据，可以生成与属性特征Mi对应的图结构。

在步骤S130中，根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构。

其中，目标图结构是对上述各个属性特征分别对应的图结构进行连接后得到的图结构。目标图结构能够反应出所有的检索数据。相似度可以是两者之间相似的程度，在本实施例中，相似度是用于衡量任意两个属性特征之间相似的程度，其具体可以通过两者间的向量距离确定，即两者间的距离越近则相似度越高，两者间的距离越远则相似度越低。

在本实施例中，服务器通过将上述各个属性特征分别对应的图结构进行连接，从而得到连接后的目标图结构。具体地，在对各个属性特征分别对应的图结构进行连接时，具体可以根据各个属性特征之间的相似度进行连接。例如，针对属性特征Mi的图结构，可以根据属性特征Mi与其他各个属性特征之间的相似度，从而将属性特征Mi的图结构与相似度较高的一个或多个属性特征分别对应的图结构进行连接。

在步骤S140中，将目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

其中，初始特征向量的精度高于目标特征向量的精度。具体地，初始特征向量是对检索数据进行向量化后的一种向量表现形式，目标特征向量则是将具有较高精度的初始特征向量向低精度向量转换后的向量表现形式。

由于图结构包括多个节点，而目标图结构是基于各个属性特征分别对应的图结构连接而成，因此，目标图结构中包括各个属性特征分别对应的图结构的所有节点。又由于每个节点包括对应检索数据的初始特征向量，而初始特征向量又是对检索数据进行向量化后的一种向量表现形式。在本实施例中，为了实现向量化的较高精度，在对检索数据进行向量化时，采用了精度较高的初始特征向量，并以此构建图结构，以提高图结构中的邻域质量。进而在建图完成后，将每个节点的具有较高精度的初始特征向量转换为低精度的目标特征向量，以提高后续检索的效率。

上述检索数据的处理方法中，服务器通过获取检索数据，针对属性特征相同的目标检索数据，生成与属性特征对应的图结构，并根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，进而将目标图结构中每一个节点的初始特征向量转换为目标特征向量，从而得到向量转换后的目标图结构。由于本实施例通过采用精度较高的初始特征向量构建图结构，从而能够提高图结构中的邻域质量，且在建图过程中考虑了检索数据的属性特征，因此能够用于带属性的检索；通过在建图完成后，将每个节点的具有较高精度的初始特征向量转换为低精度的目标特征向量，还可以提高后续检索的效率。

在一示例性实施例中，上述具有较高精度的初始特征向量可以是具有第一字节数的浮点数向量，上述具有较低精度的目标特征向量可以是具有第二字节数的整数向量，其中，第一字节数大于第二字节数，因此，初始特征向量的精度高于目标特征向量的精度。

具体地，初始特征向量可以是FP32(Full Precise Float 32，即全精度浮点数)，其占用4个字节，共32位，其中1位为符号位，8位指数位，23位尾数位。初始特征向量还可以是FP16(Float，即半精度浮点数)，其占用2个字节，共16位，其中1位为符号位，5位指数位，十位有效数字位。

目标特征向量可以是INT8(即八位整型数)，其占用1个字节，共8位。其具有数据量小、能耗低、计算速度相对更快的特点。

以下以初始特征向量为FP32、目标特征向量为INT8为例，进一步说明具体的量化过程。具体地，在量化时可以参考如下量化定义：

其中，[.]表示取整函数，scale定义为使得quantize(x)/scale和x的绝对值之差最小的数，可以通过最小二乘法得到。(x*scale)为待进行向量转换的初始特征向量，quantize(x)为转换后的目标特征向量，当(x*scale)大于或等于127时，转换后的向量为127，当(x*scale)小于或等于-128时，转换后的向量为-128，而当(x*scale)位于-128至127之间时，转换后的向量则为(x*scale)的整数部分。

在本实施例中，通过对初始特征向量进行量化，可以得到对应的目标特征向量，由于目标特征向量具有数据量小、能耗低、计算速度相对更快的特点，进而在检索时基于目标特征向量进行计算，能够提高检索效率。又由于本实施例是在构图完成后，才将高精度的向量转换为低精度的向量，而不是直接使用低精度的向量进行构图，因此，极大降低了量化带来的召回率损失。

在一示例性实施例中，图结构的多个节点中至少一个节点具有第一邻居节点，其中，第一邻居节点是图结构中节点的初始特征向量与至少一个节点的初始特征向量之间的距离满足第一预设条件的节点。具体地，第一预设条件可以是预先设置的节点距离阈值的条件，由于同一图结构中的所有节点，其对应的属性特征相同，因此在构建图结构时，基于同一属性特征的所有检索数据，从中任意选择一个检索数据作为基础节点，并分别计算该属性特征的其他检索数据的初始特征向量与作为基础节点的检索数据的初始特征向量之间的距离，将距离满足第一预设条件即距离小于预先设置的节点距离阈值的其他检索数据作为该基础节点的第一邻居节点，并建立该基础节点与第一邻居节点之间的连线。完成对同一属性特征的所有检索数据的类似处理，即可得到该属性特征对应的图结构。因此，一个节点的第一邻居节点，也是在图结构中与其具有连接关系的节点。

基于此，如图2所示，在步骤S130中，根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，具体可以包括：

在步骤S210中，针对图结构的每个节点，确定对应的第二邻居节点。

其中，第二邻居节点可以是对应的属性特征与节点的属性特征之间的相似度满足第二预设条件的节点。第二预设条件可以是预先设置的属性特征之间相似度阈值的条件。具体地，针对任意一个节点，可以基于该节点对应的属性特征，分别获取该属性特征与其他属性特征之间的相似度，并从相似度满足第二预设条件(即相似度大于相似度阈值)的其他属性特征对应的图结构中确定该任意节点的第二邻居节点。例如，若存在相似度大于相似度阈值的其他属性特征对应的图结构A和图结构B，则进一步获取该任意节点与图结构A中所有节点的距离，以及获取该任意节点与图结构B中所有节点的距离，并将图结构A中距离最近的节点以及图结构B中距离最近的节点作为该任意节点的第二邻居节点。

在一种场景下，还可以基于该任意节点的第一邻居节点的数量而确定第二邻居节点。具体地，若该任意节点的第一邻居节点的数量为j，则首先基于该节点对应的属性特征，分别获取该属性特征与其他属性特征之间的相似度，并确定相似度最高的j个其他属性特征对应的图结构，从而从中确定对应的j个第二邻居节点，即从j个其他属性特征对应的图结构的每个图结构中分别确定距离最近的节点作该任意节点的第二邻居节点。

在步骤S220中，建立每个节点与对应的第二邻居节点之间的连接关系，得到连接后的目标图结构。

具体地，服务器通过上述步骤确定图结构中每个节点的第二邻居节点后，则建立该节点与对应的第二邻居节点之间的连接关系，从而得到连接后的目标图结构。

在本实施例中，针对图结构的每个节点，确定对应的第二邻居节点，并建立每个节点与对应的第二邻居节点之间的连接关系，得到连接后的目标图结构。由于每个第二邻居节点与连接的节点分别属于不同属性特征的图结构，通过将其连接，从而保证了图的连通性，使得检索时可以快速定位到需要的属性特征的邻域，进而提高检索效率。

在一示例性实施例中，在步骤S220中，建立每个节点与对应的第二邻居节点之间的连接关系之后，上述方法还可以包括：记录每个节点的节点信息。其中，节点信息包括节点的初始特征向量和对应的属性特征、以及节点对应的第一邻居节点和第二邻居节点。由于第一邻居节点是与该节点具有相同属性特征的邻居节点，而第二邻居节点是与该节点具有不同属性特征但属性特征相类似的邻居节点，因此，通过记录的节点信息，在检索时可以快速跳转到需要的属性特征的邻域，不仅保证了图的连通性，且能够有效提高检索效率。

在一示例性实施例中，在步骤S110中，获取检索数据之后，上述方法还可以包括：根据检索数据对应的属性特征，确定预设数量的目标属性特征。其中，目标属性特征用于表征检索起点，即检索时从目标属性特征为起点对图进行检索。预设数量则可以是预先设置的目标属性特征的数量，其可以根据实际场景进行设定。

具体地，服务器在获取检索数据之后，可以进一步获取检索数据对应的属性特征，例如，若存在Q种不同的属性特征，则从中随机选取预设数量的属性特征作为目标属性特征。进而在后续检索时，可以从目标属性特征为起点对图进行检索，或者从目标属性特征中选取距离最近的目标属性特征为检索起点进行检索，由于属性本身极大约束了向量的搜索空间，从而能够提高检索效率。

在一示例性实施例中，如图3所示，以下以初始特征向量为FP32、目标特征向量为INT8为例，进一步说明上述检索数据的处理方法，具体包括如下步骤：

在步骤S310中，获取检索数据。

其中，检索数据包括对应的属性特征，以及使用FP32对原数据进行向量计算后的初始特征向量。

在步骤S320中，根据检索数据对应的属性特征，确定预设数量的目标属性特征。

从检索数据对应的属性特征中随机选取预设数量的属性特征作为目标属性特征。

在步骤S330中，针对每种属性特征对应的目标检索数据，生成与属性特征对应的图结构。

即对每一属性特征下的目标检索数据，分别生成与属性特征对应的图结构。例如，若检索数据中存在n种属性特征，则可以生成对应的n个图结构，每个图结构的节点由对应属性特征下的目标检索数据组成。具体地，针对属性特征Mi(表示每i种属性特征，其中i为1至n中的任意数)下的目标检索数据，可以生成与属性特征Mi对应的图结构。

在步骤S340中，连接各个属性特征分别对应的图结构，得到连接后的目标图结构。

具体可以参数如图2所示的实施例，本实施例中不再对此进行赘述。

在步骤S350中，对目标图结构中节点的向量进行转换，得到向量转换后的目标图结构。

将目标图结构中每个节点的FP32向量转换为INT8向量，得到向量转换后的目标图结构。

由于本实施例通过采用精度较高的FP32向量构建图结构，从而能够提高图结构中的邻域质量，且在建图过程中考虑了检索数据的属性特征，因此能够用于带属性的检索；通过在建图完成后，将每个节点的具有较高精度的FP32向量转换为低精度的INT8向量，由于不是直接使用低精度的向量进行构图，因此，极大降低了量化带来的召回率损失，还可以提高后续检索的效率。

在一示例性实施例中，如图4所示，还提供了一种数据检索方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法具体可以包括如下步骤：

在步骤S410中，获取数据检索请求。

其中，数据检索请求是用于指挥终端进行数据检索的指示或命令。具体地，数据检索请求中可以包括待检索数据和待检索数据对应的属性特征。其中，待检索数据可以是检索关键字，属性特征则可以是规定的检索结果的数据类别、数据属性等。

在本实施例中，当用户需要进行数据检索时，则可以向终端发起数据检索请求，终端则可以获取到对应的数据检索请求，并基于后续步骤扫行检索。

在步骤S420中，在目标图结构中，确定属性特征匹配的目标属性特征。

其中，目标图结构是基于上述图1至图3所示的检索数据的处理方法得到的向量转换后的图结构。目标属性特征则是基于数据检索请求中的属性特征而确定的用于进行检索的起点。

具体地，由上述检索数据的处理方法可知，目标图结构在构建后，会预留预设数量的目标属性特征用于检索入口。在本实施例中，与属性特征匹配的目标属性特征可以是目标图结构预留的目标属性特征中与该属性特征最为相似的目标属性特征。

在步骤S430中，将目标属性特征作为检索入口，检索得到与待检索数据的属性特征相同且与待检索数据的数据相似度满足相似度条件的检索数据，将检索数据作为检索结果。

其中，相似度条件可以是对应的相似度阈值的条件，例如，可以是相似度大于似度阈值的条件。具体地，在本实施例中，针对待检索数据而言，只需要在目标图结构中找到到属性相同的向量领域，即检索得到与待检索数据的属性特征相同所有检索数据作为检索结果。也可以通过检索得到与待检索数据的属性特征相同所有检索数据，并基于相似度条件从得到的检索数据中进一步确定满足相似度条件的检索数据作为检索结果。因此，终端可以将上述确定的目标属性特征作为检索入口，通过检索得到与待检索数据的属性特征相同且与待检索数据的数据相似度满足相似度条件的检索数据，并将检索数据作为检索结果。

由于上述目标图结构在建图过程中考虑了检索数据的属性特征，因此，在检索时，基于上述确定的与待检索数据的属性特征匹配的目标属性特征作为检索入口，从而可以通过属性特征来约束向量的搜索空间，以缩小查询空间，提高检索效率。

在一示例性实施例中，目标图结构中可以包括预设数量的目标属性特征，则如图5所示，在步骤S420中，确定属性特征匹配的目标属性特征，具体还可以包括：

在步骤S510中，获取属性特征分别与各目标属性特征之间的相似度。

其中，相似度是指属性特征与各目标属性特征之间相似的程度，其具体可以通过两者间向量的距离来衡量。在本实施例中，终端可以分别获取数据检索请求中的属性特征与目标图结构中的各目标属性特征之间的相似度。

在步骤S520中，将相似度最大的目标属性特征确定为与属性特征匹配的目标属性特征。

在本实施例中，终端基于上述获取的数据检索请求的属性特征分别与各目标属性特征之间的相似度，并将相似度最高的目标属性特征确定为与该属性特征匹配的目标属性特征，进而将该目标属性特征作为检索入口进行检索。从而可以缩小查询空间，提高检索效率。

在一示例性实施例中，上述待检索数据包括与检索数据的目标特征向量的向量格式相同的特征向量。其中，向量格式是用于进行向量化的形式，或进行向量化的类型。

具体地，由上述检索数据的处理方法可知，目标图结构是对各节点的向量进行转换后得到的，且转换后目标特征向量具有数据量小、能耗低、计算速度相对更快的特点，因此，在检索时，通过对待检索数据进行相同向量格式的向量化，能够提高检索的查询效率。又由于目标图结构是在构图完成后，才将高精度的向量转换为低精度的向量，而不是直接使用低精度的向量进行构图，因此，还能够降低量化带来的召回率损失。

应该理解的是，虽然图1-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图6是根据一示例性实施例示出的一种检索数据的处理装置框图。参照图6，该装置包括检索数据获取模块602，图结构生成模块604，目标图结构生成模块606和向量转换模块608。

检索数据获取模块602，被配置为执行获取检索数据，所述检索数据包括对应的初始特征向量和属性特征；

图结构生成模块604，被配置为执行针对所述属性特征相同的目标检索数据，生成与所述属性特征对应的图结构，所述图结构包括多个节点，每个所述节点包括所述目标检索数据的初始特征向量和对应的属性特征；

目标图结构生成模块606，被配置为执行根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构；

向量转换模块608，被配置为执行将所述目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

在一示例性实施例中，所述图结构的多个节点中至少一个节点具有第一邻居节点，所述第一邻居节点是所述图结构中节点的初始特征向量与所述至少一个节点的初始特征向量之间的距离满足第一预设条件的节点；所述目标图结构生成模块被配置为执行：针对所述图结构的每个节点，确定对应的第二邻居节点，所述第二邻居节点是对应的属性特征与所述节点的属性特征之间的相似度满足第二预设条件的节点；建立每个节点与对应的第二邻居节点之间的连接关系，得到连接后的目标图结构。

在一示例性实施例中，所述装置还包括节点信息记录模块，被配置为执行：记录每个节点的节点信息，所述节点信息包括所述节点的初始特征向量和对应的属性特征、以及所述节点对应的第一邻居节点和第二邻居节点。

在一示例性实施例中，所述初始特征向量为具有第一字节数的浮点数向量，所述目标特征向量为具有第二字节数的整数向量，所述第一字节数大于所述第二字节数。

在一示例性实施例中，所述装置还包括目标属性特征确定模块，被配置为执行：根据所述检索数据对应的属性特征，确定预设数量的目标属性特征，所述目标属性特征用于表征检索起点。

在一示例性实施例中，所述检索数据包括文本数据、图像数据、音频数据或视频数据中的至少一种。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种数据检索装置框图。参照图7，该装置包括检索请求获取模块702，属性特征匹配模块704和检索模块706。

检索请求获取模块702，被配置为执行获取数据检索请求，所述数据检索请求中包括待检索数据和所述待检索数据对应的属性特征；

属性特征匹配模块704，被配置为执行在根据权利要求1至6任一项所述的检索数据的处理方法得到的向量转换后的目标图结构中，确定所述属性特征匹配的目标属性特征；

检索模块706，被配置为执行将所述目标属性特征作为检索入口，检索得到与所述待检索数据的属性特征相同且与所述待检索数据的数据相似度满足相似度条件的检索数据，将所述检索数据作为检索结果。

在一示例性实施例中，所述目标图结构中包括预设数量的目标属性特征；所述属性特征匹配模块被配置为执行：获取所述属性特征分别与各目标属性特征之间的相似度；将所述相似度最大的目标属性特征确定为与所述属性特征匹配的目标属性特征。

在一示例性实施例中，所述待检索数据包括与所述检索数据的目标特征向量的向量格式相同的特征向量。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种用于检索数据的处理或用于数据检索的电子设备Z00的框图。例如，电子设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图8，电子设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。

处理组件Z02通常控制电子设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。

存储器Z04被配置为存储各种类型的数据以支持在电子设备Z00的操作。这些数据的示例包括用于在电子设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件Z06为电子设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为电子设备Z00生成、管理和分配电力相关联的组件。

多媒体组件Z08包括在所述电子设备Z00和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括前置摄像头和/或后置摄像头。当电子设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括麦克风(MIC)，当电子设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括扬声器，用于输出音频信号。

I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件Z14包括一个或多个传感器，用于为电子设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到电子设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为电子设备Z00的显示器和小键盘，传感器组件Z14还可以检测电子设备Z00或电子设备Z00组件的位置改变，用户与电子设备Z00接触的存在或不存在，设备Z00方位或加速/减速和电子设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件Z16被配置为便于电子设备Z00和其他设备之间有线或无线方式的通信。电子设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备Z00可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。

图9是根据一示例性实施例示出的一种用于检索数据的处理或用于数据检索的电子设备S00的框图。例如，电子设备S00可以为服务器。参照图9，电子设备S00包括处理组件S20，其进一步包括一个或多个处理器，以及由存储器S22所代表的存储器资源，用于存储可由处理组件S20的执行的指令，例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件S20被配置为执行指令，以执行上述方法。

电子设备S00还可以包括：电源组件S24被配置为执行电子设备S00的电源管理，有线或无线网络接口S26被配置为将电子设备S00连接到网络，和输入输出(I/O)接口S28。电子设备S00可以操作基于存储在存储器S22的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器S22，上述指令可由电子设备S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备S00的处理器执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种检索数据的处理方法，其特征在于，所述方法包括：

获取检索数据，所述检索数据包括对应的初始特征向量和属性特征；

针对所述属性特征相同的目标检索数据，生成与所述属性特征对应的图结构，所述图结构包括多个节点，每个所述节点包括所述目标检索数据的初始特征向量和对应的属性特征；

根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构；

将所述目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

2.根据权利要求1所述的方法，其特征在于，所述图结构的多个节点中至少一个节点具有第一邻居节点，所述第一邻居节点是所述图结构中节点的初始特征向量与所述至少一个节点的初始特征向量之间的距离满足第一预设条件的节点；

所述根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构，包括：

针对所述图结构的每个节点，确定对应的第二邻居节点，所述第二邻居节点是对应的属性特征与所述节点的属性特征之间的相似度满足第二预设条件的节点；

建立每个节点与对应的第二邻居节点之间的连接关系，得到连接后的目标图结构。

3.根据权利要求2所述的方法，其特征在于，所述建立每个节点与对应的第二邻居节点之间的连接关系之后，所述方法还包括：

记录每个节点的节点信息，所述节点信息包括所述节点的初始特征向量和对应的属性特征、以及所述节点对应的第一邻居节点和第二邻居节点。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述初始特征向量为具有第一字节数的浮点数向量，所述目标特征向量为具有第二字节数的整数向量，所述第一字节数大于所述第二字节数。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述获取检索数据之后，所述方法还包括：

根据所述检索数据对应的属性特征，确定预设数量的目标属性特征，所述目标属性特征用于表征检索起点。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述检索数据包括文本数据、图像数据、音频数据或视频数据中的至少一种。

7.一种数据检索方法，其特征在于，所述方法包括：

获取数据检索请求，所述数据检索请求中包括待检索数据和所述待检索数据对应的属性特征；

在根据权利要求1至6任一项所述的检索数据的处理方法得到的向量转换后的目标图结构中，确定所述属性特征匹配的目标属性特征；

将所述目标属性特征作为检索入口，检索得到与所述待检索数据的属性特征相同且与所述待检索数据的数据相似度满足相似度条件的检索数据，将所述检索数据作为检索结果。

8.根据权利要求7所述的方法，其特征在于，所述目标图结构中包括预设数量的目标属性特征；所述确定所述属性特征匹配的目标属性特征，包括：

获取所述属性特征分别与各目标属性特征之间的相似度；

将所述相似度最大的目标属性特征确定为与所述属性特征匹配的目标属性特征。

9.根据权利要求7所述的方法，其特征在于，所述待检索数据包括与所述检索数据的目标特征向量的向量格式相同的特征向量。

10.一种检索数据的处理装置，其特征在于，包括：

检索数据获取模块，被配置为执行获取检索数据，所述检索数据包括对应的初始特征向量和属性特征；

图结构生成模块，被配置为执行针对所述属性特征相同的目标检索数据，生成与所述属性特征对应的图结构，所述图结构包括多个节点，每个所述节点包括所述目标检索数据的初始特征向量和对应的属性特征；

目标图结构生成模块，被配置为执行根据各个属性特征之间的相似度，连接各个属性特征分别对应的图结构，得到连接后的目标图结构；

向量转换模块，被配置为执行将所述目标图结构中每一个节点的初始特征向量转换为目标特征向量，得到向量转换后的目标图结构。

11.一种数据检索装置，其特征在于，包括：

检索请求获取模块，被配置为执行获取数据检索请求，所述数据检索请求中包括待检索数据和所述待检索数据对应的属性特征；

属性特征匹配模块，被配置为执行在根据权利要求1至6任一项所述的检索数据的处理方法得到的向量转换后的目标图结构中，确定所述属性特征匹配的目标属性特征；

检索模块，被配置为执行将所述目标属性特征作为检索入口，检索得到与所述待检索数据的属性特征相同且与所述待检索数据的数据相似度满足相似度条件的检索数据，将所述检索数据作为检索结果。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的检索数据的处理方法或者实现如权利要求7至9中任一项所述的数据检索方法。

13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的检索数据的处理方法或者实现如权利要求7至9中任一项所述的数据检索方法。

Images