CN113641870B - 向量索引构建方法、向量检索方法和与方法对应的系统 - Google Patents

Abstract

本申请提出一种向量索引构建方法、向量检索方法和与方法对应的系统，涉及向量搜索技术领域，其中，该方法包括：获取待构建对象的向量；根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；根据所述多个第二聚类空间和对应的中心构建向量索引。该方案可以应用在图像检索、人脸对比、导航推荐等领域。

Description

向量索引构建方法、向量检索方法和与方法对应的系统

技术领域

本申请涉及向量搜索技术领域，尤其涉及一种向量索引构建方法、向量检索方法和与方法对应的系统。

背景技术

目前，随着深度学习的使用，在图像检索、人脸对比、导航推荐等应用场景的系统的架构变成了如DSSM等“双塔”架构，即将用户和物品映射到同一向量空间，然后采用相似度计算的方式进行向量索引召回距离最近的若干个向量。

现有技术中，一般采用聚类方法建立向量索引，然而采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低。

发明内容

本申请提供一种向量索引构建方法、向量检索方法和与方法对应的系统，能够提高向量检索的准确度。

一方面，本申请提供一种向量索引构建方法，包括：获取待构建对象的向量；根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；根据所述多个第二聚类空间和对应的中心构建向量索引。

另一方面，本申请提供一种向量检索方法，包括：获取待检索对象的向量；从上述的向量索引中确定与所述待检索对象的向量对应的目标聚类中心；根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量；以及通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量。

又一方面，本申请提供一种向量索引构建系统，包括：

构建获取模块，用于获取待构建对象的向量；

聚类模块，与所述构建获取模块相连，用于根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；

扩大模块，与所述聚类模块相连，用根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；以及

索引构建模块，与所述扩大模块相连，用于根据所述多个第二聚类空间和对应的中心构建向量索引。

又一方面，本申请提供一种向量检索系统，包括：

检索获取模块，用于获取待检索对象的向量；

中心确定模块，与所述检索获取模块相连，用于从如权利要求12-18任一所述的向量索引中确定与所述待检索对象的向量对应的目标聚类中心；

匹配获取模块，与所述中心确定模块相连，用于根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量；以及

目标获取模块，与所述匹配获取模块相连，用于通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量。

又一方面，本申请提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述向量索引构建方法或向量检索方法。

再一方面，本申请提供一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述向量索引构建方法或向量检索方法。

综上所述，本申请提供的向量索引构建方法、向量检索方法和与方法对应的系统，根据待构建对象的向量构建的多个第一聚类空间内的多个向量和多个第一聚类空间的聚类中心的距离扩大多个第一聚类空间，并根据扩大得到的多个第二聚类空间构建索引；由于扩大多个第一聚类空间，使聚类空间边缘的向量能够归属于多个聚类中心，从而提高向量检索的准确率。本申请提供的技术方案，解决了现有技术中采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低的问题。且仅使聚类空间边缘的向量归属于多个聚类中心，能够再不增加过多计算量的情况下提高准确率。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例1所提供的向量索引构建方法的流程图；

图2为图1所示的向量索引构建方法中第一种扩大聚类空间方法的示意图；

图3为图1所示的向量索引构建方法中第二种扩大聚类空间方法的示意图；

图4为本申请实施例2所提供的向量检索方法的流程图；

图5为本申请实施例3所提供向量索引构建系统的结构示意图；

图6为本申请实施例4所提供的向量检索系统的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

实施例1

如图1所示，本申请实施例提供的向量索引构建方法，包括以下步骤：

步骤S110，获取待构建对象的向量。

本申请实施例在获取待构建对象之后，可以通过预定的技术手段将待构建对象处理为向量，其中，待构建对象可以是图像、语音、文本、视频等数据中的一种或多种；预定的技术手段包括但不限于Bert模型、ResNet模型等模型中预设的embedding手段等。

步骤S120，根据待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心。

本申请实施例可以通过常规聚类手段将待构建对象的向量处理为多个第一聚类空间，并确定每个第一聚类空间的聚类中心，其中，常规聚类手段可以是kmean++算法等，在此不做限定。

步骤S130，根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间。

在本实施例中，通过步骤S130扩大多个第一聚类空间的过程可以包括：对于任一第一聚类空间，根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间；或者，对于任一第一聚类空间内的任一向量，分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心；根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大多个第一聚类空间。

具体的，根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间，包括：获取该第一聚类空间中的全部向量与该第一聚类空间的聚类中心之间的多个第一距离；根据所述多个第一距离确定该第一聚类空间的扩展范围；以该第一聚类空间的聚类中心为中心，根据该第一聚类空间的扩展范围扩大该第一聚类空间。其中，根据所述多个第一距离确定该第一聚类空间的扩展范围，包括：根据所述多个第一距离和预设基准比例获取第一基准距离；根据所述第一基准距离和第一扩展比例确定该第一聚类空间的扩展范围。该根据所述多个第一距离和预设基准比例获取第一基准距离的过程，可以为将多个第一距离按大小顺序排列，将预设基准比例对应的距离作为第一基准距离。该预设基准比例具体可以为68.26%至99.74%之间任一比例；该第一扩展比例可以根据需要设置，如设置为20%等。

分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心可以包括：分别获取该向量与每个第一聚类空间的聚类中心之间的多个第二距离；根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。其中，根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心可以包括：从所述多个第二距离中获取最小距离；根据所述最小距离和预设第二扩展比例获取第二基准距离；根据小于所述第二基准距离的第二距离对应的聚类中心，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。

对于任一第一聚类空间，根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大该第一聚类空间包括：根据所有第一聚类空间内的每个向量的扩展聚类中心，获取该第一聚类空间的聚类中心对应的所有向量；根据该第一聚类空间的聚类中心对应的所有向量，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间。

在本实施例中，对于任一第一聚类空间，步骤S130扩大该第一聚类空间的过程，还可以为根据其他第一聚类空间内的多个向量与该第一聚类空间的聚类中心之间的距离，扩大该第一聚类空间；该其他第一聚类空间为多个第一聚类空间中除该第一聚类空间之外的聚类空间。其中，根据其他第一聚类空间内的多个向量与该第一聚类空间的聚类中心之间的距离，扩大该第一聚类空间可以包括：获取其他第一聚类空间内的多个向量与该第一聚类空间的聚类中心之间的多个第三距离；根据多个第三距离和预设第三扩展比例，扩大该第一聚类空间。根据多个第三距离和预设第三扩展比例，扩大该第一聚类空间可以包括：从多个第三距离中获取最小距离；根据最小距离和预设第三扩展比例获取第三基准距离；根据小于第三基准距离的第三距离对应的向量，扩大该第一聚类空间。

上述获取向量距离的方式，可以使用曼哈顿距离、海明距离、欧式距离、马氏距离、切比雪夫距离等，在此不作限制。各扩展比例可以根据需要设置，在此不再一一赘述。

步骤S140，根据所述多个第二聚类空间和对应的中心构建向量索引。

通过本实施例构建的向量索引，当该待检索对象对应非边缘点时，该待检索对象与某个第二聚类空间一一对应，可以依据该第二聚类空间获取与待检索对象匹配的向量；当该待构建对象为边缘点时，该待检索对象对应至少两个第二聚类空间，可以至少两个第二聚类空间获取与待检索对象匹配的向量。

为便于本领域技术人员更好的理解本申请实施例中扩大聚类空间的第一种方法，现结合图2进行说明，图2中由实线围成的不规则图形为经步骤S120形成的多个第一聚类空间，其中多个聚类空间包括区域a、区域b、区域c、区域d和区域e，随后经本申请实施例的步骤S130扩大多个第一聚类空间（本申请中以区域a为例）。

图2中黑色实心圆为区域a中的向量，处于近似中间位置虚线小圆圈为该第一聚类空间的聚类中心，基于区域a中的所有向量和聚类中心扩大该第一聚类空间的方法为：

获取区域a中的所有黑色实心圆与虚线小圆圈之间的多个第一距离，将多个第一距离按大小顺序排列，将预设基准比例对应的距离作为第一基准距离；以预设基准比例为90%为例，将90%位对应的距离作为第一基准距离，见图2中以虚线小圆圈（第一类聚类中心）为圆心的实线圆；

根据所述第一基准距离和第一扩展比例确定该第一聚类空间的扩展范围，以第一扩展比例为20%为例，该第一空间的扩展范围为90%位对应的距离乘以1.2倍，见图2中以虚线小圆圈为圆心的虚线圆。

进而以该第一聚类空间的聚类中心为中心，根据该第一聚类空间的扩展范围扩大该第一聚类空间，得到以虚线小圆圈为聚类中心的虚线圆（即第二聚类空间）。

之后，依据上述方式对区域b、区域c、区域d和区域e进行扩展。

当处理结束后，可呈现的结果见图2，以圆1为例，圆1处理前属于区域e，处理后还属于区域a和区域b扩展后的区域，即处理结束后，圆1的聚类中心不仅有区域e对应的聚类中心，还有区域a和区域b对应的聚类中心。

为便于本领域技术人员更好的理解本申请实施例中扩大聚类空间的第二种方法，现结合图3进行说明，详情如下：

图3中由实线围成的不规则图形为经步骤S120形成的多个聚类空间，其中多个聚类空间包括区域f、区域g、区域h和区域i，每个区域内的深灰色实心圆为对应区域的聚类中心；随后经本申请实施例的步骤S130进行扩大。

假设遍历到圆2，针对圆2，遍历所有聚类中心，获取圆2与区域f、区域g、区域h和区域i中每个聚类中心之间的多个第二距离；

从多个第二距离中获取最小距离，图3中圆2距区域f中聚类中心距离最小（圆2原属区域f）；

根据所述最小距离和预设第二扩展比例获取第二基准距离，第二扩展比例可以根据需求设置，第二基准距离可以为最小距离与第二扩展比例之积，还可以通过其他方式计算第二基准距离，在此不作限制；

假设圆2与区域h和g的聚类中心的距离均小于第二基准距离，则该圆2的扩展聚类中心不仅包括原有的区域f的聚类中心，还包括区域h和g的聚类中心，即根据小于所述第二基准距离的第二距离对应的聚类中心，对该向量的聚类中心进行扩展，获取该向量的扩展聚类中心（区域f、h和g的聚类中心）；

根据所有第一聚类空间内的每个向量的扩展聚类中心，获取每个聚类中心对应的向量，即区域g的聚类中心对应的向量包括圆4和圆2，区域h对应的聚类中心包括圆2和圆3；

根据每个聚类中心对应的向量，扩大该第一聚类空间，以区域g为例，区域g的聚类中心对应的聚类空间扩大为虚线部分。

为了本领域技术人员更好的理解本申请实施例提供的索引构建方法，现举例进行说明：通过步骤S110获取待构建对象的向量1-9；通过步骤120构建3个第一聚类空间--第一聚类空间1、第一聚类空间2和第一聚类空间3，第一聚类空间1的聚类中心为中心1包括向量1-3，第一聚类空间2的聚类中心为中心2包括向量4-6，第一聚类空间3的聚类中心为中心3包括向量7-9；通过步骤S130对3个第一聚类空间进行扩大，得到3个第二聚类空间--第二聚类空间1、第二聚类空间2和第二聚类空间3，第二聚类空间1的聚类中心为中心1包括向量1-3、5、9，第二聚类空间2的聚类中心为中心2包括向量4-6、2，第二聚类空间3的聚类中心为中心3包括向量7-9、6；通过步骤S140构建向量索引，可以如下表：

聚类中心	向量
		1	1-3、5、9
2	4-6、2
		3	7-9、6

通过上述向量索引构建过程，中心1的边缘向量2不仅属于中心1，还属于中心2；中心2的边缘向量5不仅属于中心2，还属于中心1；中心2的边缘向量6不仅属于中心2，还属于中心3；中心3的边缘向量9不仅属于中心3，还属于中心1。从而使边缘向量对应多个聚类中心，从而提高向量检索的准确度。

综上所述，本申请提供的向量索引构建方法，根据待构建对象的向量构建的多个第一聚类空间内的多个向量和多个第一聚类空间的聚类中心的距离扩大多个第一聚类空间，并根据扩大得到的多个第二聚类空间构建索引；由于扩大多个第一聚类空间，使聚类空间边缘的向量能够归属于多个聚类中心，从而提高向量检索的准确率。本申请提供的技术方案，解决了现有技术中采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低的问题。且仅使聚类空间边缘的向量归属于多个聚类中心，能够再不增加过多计算量的情况下提高准确率。

实施例2

如图4所示，本申请实施例提供的向量检索方法，包括以下步骤：

步骤S410，获取待检索对象的向量。

本申请实施例中的待检索对象包括但不限于用户输入的图像、语音、文本和视频，对待检索对象的处理方法与实施例1中对待构建对象的处理方式一致，在此不在赘述。

步骤S420，从由本申请实施例1所构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心。

由于向量索引的构建是根据距离构建的，因此，当待检索对象为非边缘点时，对应聚类中心的个数为1；当待检索对象为边缘点时，对应聚类中心的个数为大于1的正整数。

特别的，为了便于处理，通过步骤S410获取待检索对象的向量后，还可以根据所述待构建对象的向量的维度对所述待检索对象的向量进行处理，得到处理后的向量；此时，步骤S420具体为从由本申请实施例1所构建的向量索引中确定与处理后的向量对应的目标聚类中心。

在本实施例中，步骤S420可以包括：获取所述待检索对象的向量与所述向量索引中所有聚类中心之间的多个第四距离；将所述多个第四距离中的最小距离对应的聚类中心作为所述目标聚类中心。

步骤S430，根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量。

步骤S440，通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量。

在本实施例中，步骤S440可以包括：通过并行处理方法分别从所述多个待匹配向量之中抽取多组第一数量的待匹配向量；根据预设规约分别从每组第一数量的待匹配向量中获取第二数量的待匹配向量，并根据多组第二数量的待匹配向量更新抽取多组第一数量的待匹配向量后的待匹配向量；重复执行上述第一数量和第二数量的待匹配向量获取步骤直至通过并行方法抽取的多组第一数量的待匹配向量均已获取第二数量的待匹配向量并更新后，待匹配向量的当前总数量等于第一数量时，将对应的待匹配向量作为所述目标向量。

重复执行上述步骤的过程中，在抽取向量之前，可以首先判断待匹配向量的个数是否小于第一数量；如果不小于，根据上述过程抽取数据；如果小于，等待待匹配向量更新后向量个数不小于第一数量时再根据上述过程抽取数据。

为了便于执行上述过程，可以通过先进先出队列等方式执行，在此不再一一赘述。

为了便于本领域技术人员更好地理解本申请实施例，现对本申请实施例进行说明，详情如下：

待匹配向量的当前总数量为1000个，每个并行线程处理上限均是100个待匹配向量，即第一数量为100个，目标向量和第二数量的个数为10个。

在本例中，并行线程的个数不固定，可以根据实际情况进行确定，假设当前有6个并行线程空闲，对于1000个待匹配向量，并行线程从1000个待匹配向量中抽取6组、每组抽取的待匹配向量的数量为100，根据预设规约执行一次后得到6组、每组10个待匹配向量，即60个待匹配向量，根据处理得到的60个待匹配向量更新抽取后的待匹配向量，即更新剩余400个待匹配向量，得到460个待匹配向量，重复执行抽取处理过程，即通过5个并行线程抽取规约处理后即可得到目标向量。

其中，多个并行线程抽取数据时，可以同时抽取，也可以不同时，在此不做限制；当某个或某几个线程处理完成后，该线程可以继续抽取数据，而不必等待所有线程处理完成再抽取。

综上所述，本申请提供的向量检索方法，根据待构建对象的向量构建的多个第一聚类空间内的多个向量和多个第一聚类空间的聚类中心的距离扩大多个第一聚类空间，并根据扩大得到的多个第二聚类空间构建索引；由于扩大多个第一聚类空间，使聚类空间边缘的向量能够归属于多个聚类中心，从而提高向量检索的准确率。本申请提供的技术方案，解决了现有技术中采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低的问题。且仅使聚类空间边缘的向量归属于多个聚类中心，能够再不增加过多计算量的情况下提高准确率。

此外，通过多次并行处理方法根据预设规约获取目标向量，能够实现超大量向量检索，且能够提高检索的速度和准确率。

实施例3

如图5所示，本申请实施例提供的向量索引构建系统，包括：

构建获取模块501，用于获取待构建对象的向量；

聚类模块502，与所述构建获取模块相连，用于根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；

扩大模块503，与所述聚类模块相连，用根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；以及

索引构建模块504，与所述扩大模块相连，用于根据所述多个第二聚类空间和对应的中心构建向量索引。

在本实施例中，通过构建获取模块501至索引构建模块504实现向量索引构建的过程，与本发明实施例1提供的过程相似，在此不再一一赘述。

其中，所述扩大模块包括：第一扩大子模块或第二扩大子模块；

所述第一扩大子模块，用于对于任一第一聚类空间，根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间；

所述第二扩大子模块，用于对于任一第一聚类空间内的任一向量，分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心；根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大所述多个第一聚类空间。

所述第一扩大子模块，包括：

第一距离获取单元，用于获取该第一聚类空间中的全部向量与该第一聚类空间的聚类中心之间的多个第一距离；

范围确定单元，与所述第一距离获取单元相连，用于根据所述多个第一距离确定该第一聚类空间的扩展范围；

第一扩大单元，与所述范围确定单元相连，用于以该第一聚类空间的聚类中心为中心，根据该第一聚类空间的扩展范围扩大该第一聚类空间。

所述范围确定单元包括：

用于根据所述多个第一距离和预设基准比例获取第一基准距离的第一结构；

与所述第一结构相连，用于根据所述第一基准距离和第一扩展比例确定该第一聚类空间的扩展范围的第二结构。

所述第二扩大子模块，包括：

第二计算单元，用于分别获取该向量与每个第一聚类空间的聚类中心之间的多个第二距离；；

中心获取单元，与所述第二计算单元相连，用于根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。

所述中心获取单元包括：

用于从所述多个第二距离中获取最小距离的第三结构；

与所述第三结构相连，用于根据所述最小距离和预设第二扩展比例获取第二基准距离的第四结构；

与所述第四结构相连，用于根据小于所述第二基准距离的第二距离对应的聚类中心，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心的第五结构。

所述第二扩大子模块，包括：

向量获取单元，用于根据所有第一聚类空间内的每个向量的扩展聚类中心，获取该第一聚类空间的聚类中心对应的所有向量；

第二扩大单元，与所述向量获取单元相连，用于根据该第一聚类空间的聚类中心对应的所有向量，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间。

在本实施例中，扩大模块包括上述结构时，聚类空间的扩大过程，与本发明实施例1中步骤S130相似，在此不再一一赘述。

综上所述，本申请提供的向量索引构建系统，根据待构建对象的向量构建的多个第一聚类空间内的多个向量和多个第一聚类空间的聚类中心的距离扩大多个第一聚类空间，并根据扩大得到的多个第二聚类空间构建索引；由于扩大多个第一聚类空间，使聚类空间边缘的向量能够归属于多个聚类中心，从而提高向量检索的准确率。本申请提供的技术方案，解决了现有技术中采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低的问题。且仅使聚类空间边缘的向量归属于多个聚类中心，能够再不增加过多计算量的情况下提高准确率。

实施例4

如图6所示，本申请实施例提供的向量检索系统，包括：

检索获取模块601，用于获取待检索对象的向量；

中心确定模块602，与所述检索获取模块相连，用于从如权利要求12-18任一所述的向量索引中确定与所述待检索对象的向量对应的目标聚类中心；

匹配获取模块603，与所述中心确定模块相连，用于根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量；以及

目标获取模块604，与所述匹配获取模块相连，用于通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量。

在本实施例中，通过检索获取模块601至目标获取模块604实现向量检索的过程，与本发明实施例2提供的相似，在此不再一一赘述。

进一步的，所述向量检索系统，还包括：

维度处理模块，与所述检索获取模块相连，用于根据所述待构建对象的向量的维度对所述待检索对象的向量进行处理，得到处理后的向量；

所述中心确定模块，还与所述维度处理模块相连，具体用于从如权利要求1-7任一所述的向量索引中确定与所述处理后的向量对应的目标聚类中心。

在本实施例中，向量检索系统还包括维度处理模块时，实现向量检索的过程，与本发明实施例2提供的相似，在此不再一一赘述。

其中，所述中心确定模块，包括：

第四距离获取单元，用于获取所述待检索对象的向量与所述向量索引中所有聚类中心之间的多个第四距离；

第一中心确定单元，与所述第四距离获取单元相连，用于将所述多个第四距离中的最小距离对应的聚类中心作为所述目标聚类中心。

在本实施例中，通过中心确定模块获取目标聚类中心的过程，与本发明实施例2中步骤S420相似，在此不再一一赘述。

所述目标获取模块，包括：

并行处理单元，用于通过并行处理方法分别从所述多个待匹配向量之中抽取多组第一数量的待匹配向量；

规约处理单元，与所述并行处理单元相连，用于根据预设规约分别从每组第一数量的待匹配向量中获取第二数量的待匹配向量，并根据多组第二数量的待匹配向量更新抽取多组第一数量的待匹配向量后的待匹配向量；

目标获取单元，分别与所述并行处理单元和所述规约处理单元相连，用于重复执行上述并行处理单元和规约处理单元的处理步骤直至通过并行方法抽取的多组第一数量的待匹配向量均已获取第二数量的待匹配向量并更新后，待匹配向量的当前总数量等于第一数量时，将对应的待匹配向量作为所述目标向量。

在本实施例中，通过目标获取模块获取目标向量的过程，与本发明实施例2中步骤S440相似，在此不再一一赘述。

综上所述，本申请提供的向量检索系统，根据待构建对象的向量构建的多个第一聚类空间内的多个向量和多个第一聚类空间的聚类中心的距离扩大多个第一聚类空间，并根据扩大得到的多个第二聚类空间构建索引；由于扩大多个第一聚类空间，使聚类空间边缘的向量能够归属于多个聚类中心，从而提高向量检索的准确率。本申请提供的技术方案，解决了现有技术中采用聚类方法建立索引时某一个向量仅能归属于一个聚类中心，使向量检索时聚类空间边缘点误差较大，进而导致向量检索的准确度较低的问题。且仅使聚类空间边缘的向量归属于多个聚类中心，能够再不增加过多计算量的情况下提高准确率。

此外，通过多次并行处理方法根据预设规约获取目标向量，能够实现超大量向量检索，且能够提高检索的速度和准确率。

为了实现上述实施例，本申请还提出一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现实施例1和/或实施例2所描述的方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1和/或实施例2所描述的方法。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (22)

1.一种向量检索方法，其特征在于，所述向量检索方法包括：

获取待检索对象的向量；

从预先构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心；

根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量；以及

通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量；

所述向量索引的构建方法包括：

获取待构建对象的向量；所述待构建对象包括图像、语音、文本、视频中的一种或多种；

根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；

根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；

根据所述多个第二聚类空间和对应的中心构建向量索引。

2.如权利要求1所述的向量检索方法，其特征在于，所述根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，包括：

对于任一第一聚类空间，根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间；或者，

对于任一第一聚类空间内的任一向量，分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心；根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大所述多个第一聚类空间。

3.如权利要求2所述的向量检索方法，其特征在于，所述根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间，包括：

获取该第一聚类空间中的全部向量与该第一聚类空间的聚类中心之间的多个第一距离；

根据所述多个第一距离确定该第一聚类空间的扩展范围；

以该第一聚类空间的聚类中心为中心，根据该第一聚类空间的扩展范围扩大该第一聚类空间。

4.如权利要求3所述的向量检索方法，其特征在于，所述根据所述多个第一距离确定该第一聚类空间的扩展范围，包括：

根据所述多个第一距离和预设基准比例获取第一基准距离；

根据所述第一基准距离和第一扩展比例确定该第一聚类空间的扩展范围。

5.如权利要求2所述的向量检索方法，其特征在于，所述分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心，包括：

分别获取该向量与每个第一聚类空间的聚类中心之间的多个第二距离；

根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。

6.如权利要求5所述的向量检索方法，其特征在于，所述根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心，包括：

从所述多个第二距离中获取最小距离；

根据所述最小距离和预设第二扩展比例获取第二基准距离；

根据小于所述第二基准距离的第二距离对应的聚类中心，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。

7.如权利要求2所述的向量检索方法，其特征在于，对于任一第一聚类空间，所述根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大所述多个第一聚类空间，包括：

根据所有第一聚类空间内的每个向量的扩展聚类中心，获取该第一聚类空间的聚类中心对应的所有向量；

根据该第一聚类空间的聚类中心对应的所有向量，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间。

8.如权利要求1所述的向量检索方法，其特征在于，在所述从预先构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心之前，还包括：

根据所述待构建对象的向量的维度对所述待检索对象的向量进行处理，得到处理后的向量；

所述从预先构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心，具体为从预先构建的向量索引中确定与所述处理后的向量对应的目标聚类中心。

9.如权利要求1所述的向量检索方法，其特征在于，所述从预先构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心，包括：

获取所述待检索对象的向量与所述向量索引中所有聚类中心之间的多个第四距离；

将所述多个第四距离中的最小距离对应的聚类中心作为所述目标聚类中心。

10.如权利要求1所述的向量检索方法，其特征在于，所述通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量，包括：

通过并行处理方法分别从所述多个待匹配向量之中抽取多组第一数量的待匹配向量；

根据预设规约分别从每组第一数量的待匹配向量中获取第二数量的待匹配向量，并根据多组第二数量的待匹配向量更新抽取多组第一数量的待匹配向量后的待匹配向量；

重复执行上述第一数量和第二数量的待匹配向量获取步骤直至通过并行方法抽取的多组第一数量的待匹配向量均已获取第二数量的待匹配向量并更新后，待匹配向量的当前总数量等于第一数量时，将对应的待匹配向量作为所述目标向量。

11.一种向量检索系统，其特征在于，包括：

检索获取模块，用于获取待检索对象的向量；

中心确定模块，与所述检索获取模块相连，用于从向量索引构建系统构建的向量索引中确定与所述待检索对象的向量对应的目标聚类中心；

匹配获取模块，与所述中心确定模块相连，用于根据所述目标聚类中心对应的第二聚类空间确定多个待匹配向量；以及

目标获取模块，与所述匹配获取模块相连，用于通过多次并行处理方法根据预设规约从所述多个待匹配向量之中确定所述待检索对象的向量对应的至少一个目标向量；

所述向量索引构建系统，包括：

构建获取模块，用于获取待构建对象的向量；所述待构建对象包括图像、语音、文本、视频中的一种或多种；

聚类模块，与所述构建获取模块相连，用于根据所述待构建对象的向量构建多个第一聚类空间，并分别确定每个第一聚类空间的聚类中心；

扩大模块，与所述聚类模块相连，用根据所述多个第一聚类空间内的多个向量和所述多个第一聚类空间的聚类中心的距离，分别以所述每个第一聚类空间的聚类中心为中心扩大对应的第一聚类空间，得到多个第二聚类空间；以及

索引构建模块，与所述扩大模块相连，用于根据所述多个第二聚类空间和对应的中心构建向量索引。

12.如权利要求11所述的向量检索系统，其特征在于，所述扩大模块包括：第一扩大子模块或第二扩大子模块；

所述第一扩大子模块，用于对于任一第一聚类空间，根据该第一聚类空间内的全部向量与该第一聚类空间的聚类中心之间的距离，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间；

所述第二扩大子模块，用于对于任一第一聚类空间内的任一向量，分别根据该向量与每个第一聚类空间的聚类中心之间的距离，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心；根据所有第一聚类空间内的每个向量的扩展聚类中心，扩大所述多个第一聚类空间。

13.如权利要求12所述的向量检索系统，其特征在于，所述第一扩大子模块，包括：

第一距离获取单元，用于获取该第一聚类空间中的全部向量与该第一聚类空间的聚类中心之间的多个第一距离；

范围确定单元，与所述第一距离获取单元相连，用于根据所述多个第一距离确定该第一聚类空间的扩展范围；

第一扩大单元，与所述范围确定单元相连，用于以该第一聚类空间的聚类中心为中心，根据该第一聚类空间的扩展范围扩大该第一聚类空间。

14.如权利要求13所述的向量检索系统，其特征在于，所述范围确定单元包括：

用于根据所述多个第一距离和预设基准比例获取第一基准距离的第一结构；

与所述第一结构相连，用于根据所述第一基准距离和第一扩展比例确定该第一聚类空间的扩展范围的第二结构。

15.如权利要求12所述的向量检索系统，其特征在于，所述第二扩大子模块，包括：

第二计算单元，用于分别获取该向量与每个第一聚类空间的聚类中心之间的多个第二距离；

中心获取单元，与所述第二计算单元相连，用于根据所述多个第二距离和预设第二扩展比例，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心。

16.如权利要求15所述的向量检索系统，其特征在于，所述中心获取单元包括：

用于从所述多个第二距离中获取最小距离的第三结构；

与所述第三结构相连，用于根据所述最小距离和预设第二扩展比例获取第二基准距离的第四结构；

与所述第四结构相连，用于根据小于所述第二基准距离的第二距离对应的聚类中心，对该向量对应的聚类中心进行扩展，获取该向量的扩展聚类中心的第五结构。

17.如权利要求12所述的向量检索系统，其特征在于，所述第二扩大子模块，包括：

向量获取单元，用于根据所有第一聚类空间内的每个向量的扩展聚类中心，获取该第一聚类空间的聚类中心对应的所有向量；

第二扩大单元，与所述向量获取单元相连，用于根据该第一聚类空间的聚类中心对应的所有向量，以该第一聚类空间的聚类中心为中心，扩大该第一聚类空间。

18.如权利要求11所述的向量检索系统，其特征在于，所述向量检索系统，还包括：

维度处理模块，与所述检索获取模块相连，用于根据所述待构建对象的向量的维度对所述待检索对象的向量进行处理，得到处理后的向量；

所述中心确定模块，还与所述维度处理模块相连，具体用于从向量索引构建系统构建的向量索引中确定与所述处理后的向量对应的目标聚类中心。

19.如权利要求11所述的向量检索系统，其特征在于，所述中心确定模块，包括：

第四距离获取单元，用于获取所述待检索对象的向量与所述向量索引中所有聚类中心之间的多个第四距离；

第一中心确定单元，与所述第四距离获取单元相连，用于将所述多个第四距离中的最小距离对应的聚类中心作为所述目标聚类中心。

20.如权利要求11所述的向量检索系统，其特征在于，所述目标获取模块，包括：

并行处理单元，用于通过并行处理方法分别从所述多个待匹配向量之中抽取多组第一数量的待匹配向量；

规约处理单元，与所述并行处理单元相连，用于根据预设规约分别从每组第一数量的待匹配向量中获取第二数量的待匹配向量，并根据多组第二数量的待匹配向量更新抽取多组第一数量的待匹配向量后的待匹配向量；

目标获取单元，分别与所述并行处理单元和所述规约处理单元相连，用于重复执行上述并行处理单元和规约处理单元的处理步骤直至通过并行方法抽取的多组第一数量的待匹配向量均已获取第二数量的待匹配向量并更新后，待匹配向量的当前总数量等于第一数量时，将对应的待匹配向量作为所述目标向量。

21.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如所述权利要求1-10中任一的方法。

22.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如所述权利要求1-10中任一的方法。

Images