CN115599791A - 一种Milvus数据库参数确定方法、设备及存储介质 - Google Patents

Abstract

本发明提供了一种Milvus数据库参数确定方法、设备及存储介质，涉及信息检索领域，该方法包括：获取输入的目标召回率S₀；确定初始nprobe值L₁和初始nlist值L₂；从外部矢量数据库中随机取出一数据向量，并确定为第一待比对向量；根据第一待比对向量、L₁和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，得到第一召回率S₁；根据第二待比对向量、S₀、S₁、L₃、L₁和L₂，确定目标nprobe值L₃和目标nlist值L₄。以每次得出的召回率与目标召回率做比较，来确定nprobe值和nlist值的枚举方向，使得可在短时间内获取准确的nprobe值和nlist值。

Description

一种Milvus数据库参数确定方法、设备及存储介质

技术领域

本发明涉及信息检索领域，特别是涉及一种Milvus数据库参数确定方法、设备及存储介质。

背景技术

Milvus数据库为一种数据向量库，旨在解决数据向量在普通关系型数据库中检索效率太低的问题。Milvus数据库通过使用多种索引来实现数据向量的高效率检索，但使用索引进行数据向量的检索虽提升了效率，但还存在召回率降低的问题。

目前使用较多的为IVF-SQ8索引，在建立索引和检索时，需要用到的主要参数为nlist和nprobe，nlist为在进行数据向量检索时所有向量的组数，nprobe为在进行数据向量检索时相似向量的组数。经实验证明，nlist和nprobe对召回率和检索时间有着很大的影响。虽然Milvus官方给出了nlist的推荐设置值，但多种实验证明推荐值并不能适配所有场景。nprobe的设置也没有确切的值，需要大量实验才可得出，会耗费大量测试时间。且现有的nlist和nprobe参数值与召回率的对应参数表也不为准确，在数据向量检索时会产生误差。

发明内容

针对上述技术问题，本发明提供一种Milvus数据库参数确定方法、设备及存储介质，至少部分解决现有技术中存在的技术问题，本发明采用的技术方案为：

根据本申请的一个方面，提供一种Milvus数据库参数确定方法，应用于参数确定系统，参数确定系统通信连接有Milvus数据库和外部矢量数据库，外部矢量数据库存储有与Milvus数据库节点相同的若干数据向量；Milvus数据库和外部矢量数据库的数据库类型不同，且Milvus数据库和外部矢量数据库的数据向量的比对方法不同。

所述Milvus数据库参数确定方法，包括如下步骤：

S100、获取输入的目标召回率S₀；

S200、确定初始nprobe值L₁和初始nlist值L₂；

S300、从外部矢量数据库中随机取出一数据向量，并将其确定为第一待比对向量；

S400、根据第一待比对向量、L₁和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第一召回率S₁；

S500、将第一待比对向量放回外部矢量数据库，从外部矢量数据库中随机取出一数据向量，并将其确定为第二待比对向量；根据第二待比对向量、S₀、S₁、L₁和L₂，确定出L₁对应的目标nprobe值L₃；

S600、根据第二待比对向量、S₀、L₃和L₂，确定出L₂对应的目标nlist值L₄；

S700、输出L₃、L₄和S₃；其中，S₃为根据第二待比对向量、L₃和L₄分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对后得到的第三召回率；S₃≥S₀。

在本申请的一种示例性实施例中，步骤S500，包括：

S510、获取L₃=L₁；

S520、若S₀＜S₁，则执行步骤S530；若S₀≥S₁，则执行步骤S532；

S530、将数值调整方向确定为第一方向，并执行步骤S531；

S531、获取L₃=L₃*α，并执行步骤S540；其中，α＞1，α为第一预设系数；

S532、将数值调整方向确定为第二方向，并执行步骤S533；其中，第二方向与第一方向互为反方向；

S533、获取L₃=L₃/α，并执行步骤S540；

S540、根据第二待比对向量、L₃和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第二召回率S₂；

S550、若|S₂-S₁|＞β，则执行步骤S560；若|S₂-S₁|≤β，则执行步骤S600；其中，β为预设的召回率阈值；

S560、在当前的数值调整方向为第一方向时，若S₂＜S₀，则执行步骤S531；若S₂≥S₀，则执行步骤S600；在当前的数值调整方向为第二方向时，若S₂≥S₀，则执行步骤S533；若S₂＜S₀，则执行步骤S600。

在本申请的一种示例性实施例中，步骤S600，包括：

S610、获取L₄=L₂；

S620、若S₂＜S₀，则执行步骤S630；若S₂≥S₀，则执行步骤S632；

S630、将数值调整方向确定为第二方向，并执行步骤S631；

S631、获取L₄=L₄*γ，并执行步骤S640；其中，γ＜1，γ为第二预设系数；

S632、将数值调整方向确定为第一方向，并执行步骤S633；

S633、获取L₄=L₄/γ，并执行步骤S640；

S640、根据第二待比对向量、L₃和L₄，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第三召回率S₃；

S650、在当前的数值调整方向为第二方向时，若S₃＜S₀，则执行步骤S631；若S₃≥S₀，则执行步骤S700；在当前的数值调整方向为第一方向时，若S₃≥S₀，则执行步骤S633；若S₃＜S₀，则执行步骤S660；

S660、获取L₄=L₄*γ，并执行步骤S700。

在本申请的一种示例性实施例中，初始nlist值L₂=4m^1/2，其中，m为Milvus数据库的数据存储层的数据段中实体的最大存储容量。

在本申请的一种示例性实施例中，初始nprobe值L₁，通过以下步骤确定：

S210、获取L₀=L₂*b；其中，b为预设的参数系数，b＜1；

S220、若L₀＜d，则确定L₁=d；若L₀≥d，则确定L₁=L₀；其中，d为预设的参数阈值。

在本申请的一种示例性实施例中，步骤S400，包括：

S410、根据L₁和L₂，将第一待比对向量与Milvus数据库中每一数据向量进行向量比对处理，获取第一待比对向量与Milvus数据库中每一数据向量之间的相似度，得到第一相似度集Q={Q₁,Q₂,……,Q_i,……,Q_n}；其中，i=1,2,……,n；n为Milvus数据库中数据向量的数量；Q_i为第一待比对向量与Milvus数据库中第i个数据向量之间的相似度；

S420、根据L₁和L₂，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，获取第一待比对向量与外部矢量数据库中除第一待比对向量以外的每一数据向量之间的相似度，得到第二相似度集E={E₁,E₂,……,E_j,……,E_n-1}；其中，j=1,2,……,n-1；E_j为第一待比对向量与外部矢量数据库中第j个数据向量之间的相似度；

S430、按照数值递减，对Q₁,Q₂,……,Q_i,……,Q_n进行排序，以得到第一排序列表W={W₁,W₂,……,W_i,……,W_n}；其中，W_i为W中第i个相似度；

S440、按照数值递减，对E₁,E₂,……,E_j,……,E_n-1进行排序，以得到第二排序列表F={F₁,F₂,……,F_j,……,F_n-1}；其中，F_j为F中第j个相似度；

S450、将W₁,W₂,……,W_g,……,W_k对应的数据向量确定为第一匹配向量，获取每一第一匹配向量，得到第三相似度集Y={Y₁,Y₂,……,Y_g,……,Y_k}；其中，g=1,2,……,k；k为Y中相似度的数量；k≤n-1；W_g为W中第g个相似度；Y_g为Y中第g个相似度；W₁,W₂,……,W_g,……,W_k为W中前k个相似度；

S460、将F₁,F₂,……,F_g,……,F_k对应的数据向量确定为第二匹配向量，获取每一第二匹配向量，得到第四相似度集Z={Z₁,Z₂,……,Z_g,……,Z_k}；其中，F_g为F中第g个相似度；Z_g为Z中第g个相似度；F₁,F₂,……,F_g,……,F_k为F中前k个相似度；

S470、确定第一召回率S₁=a/k；其中，a为Y和Z的交集中的相似度的数量。

在本申请的一种示例性实施例中，步骤S200，包括：

S201、获取输入的原始nprobe值NL₁和原始nlist值NL₂；

S202、若NL₁≥d，且NL₁≤NL₂*b；则确定L₁=NL₁，L₂=NL₂。

在本申请的一种示例性实施例中，在步骤S300之后，该方法还包括：

S310、进行与Milvus数据库的数据连通测试；若数据连通成功，则执行步骤S320；若数据连通失败，则发送连通失败提示；

S320、进行与外部矢量数据库的数据连通测试；若数据连通成功，则执行步骤S400；若数据连通失败，则发送连通失败提示。

根据本申请的一个方面，提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现所述Milvus数据库参数确定方法。

根据本申请的一个方面，提供一种电子设备，包括处理器和所述非瞬时性计算机可读存储介质。

本发明至少具有以下有益效果：

本发明的Milvus数据库参数确定方法，根据第一待比对向量、初始nprobe值L₁和初始nlist值L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，得到第一召回率S₁，对比S₁和S₀，确定nprobe值的数值调整方向，并对L₃赋值，根据第二待比对向量、L₃和L₂，得到第二召回率S₂，若S₂与S₁的差值不大于召回率阈值，则将L₃确定为目标nprobe值；再对比S₂和S₀，确定nlist值的数值调整方向，并对L₄赋值，根据第二待比对向量、L₃和L₄，得到第三召回率S₃，若S₃不小于S₀，则将L₄确定为目标nlist值。以每次得出的召回率与目标召回率做比较，来确定nprobe值和nlist值的枚举方向，使得可在短时间内获取准确的nprobe值和nlist值，较现有技术需用大量数据递归遍历nprobe值和nlist值并计算召回率的枚举实验相比，本发明的枚举实验次数少且获得的nprobe值和nlist值更为精确，实验人员无需制定复杂的实验方案即可确定nprobe值和nlist值并立即进行Milvus数据库的使用，用户在使用Milvus数据库进行数据向量检索时也无需输入nprobe值和nlist值，简便了用户的处理过程。且通过确定的nprobe值和nlist值与对应得到的召回率做参数记录表，便于在用户输入目标召回率时，即可通过查询参数记录表得知对应的nprobe值和nlist值，而不用再次进行参数实验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的Milvus数据库参数确定方法的流程图；

图2为本发明实施例提供的参数确定系统的连接示意图；

图3为本发明实施例提供的nprobe参数和召回率之间的关系图；

图4为本发明实施例提供的nlist参数和召回率之间的关系图；

图5为本发明实施例提供的nprobe参数和实验所用时长之间的关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Milvus数据库为一种数据向量库，旨在解决人工智能和深度学习大发展环境下数据向量在普通关系型数据库中检索效率太低的问题。Milvus数据库通过使用多种索引来实现数据向量的高效率检索，其中，包括IVF-FLAT（倒序索引）、IVF-SQ8（特征索引）、HNSW（结构索引）等索引手段。使用索引检索避免了全表查询，极大的提升了检索效率。

但使用索引进行数据向量的检索虽提升了效率，但还存在召回率降低的问题。目前使用较多的为IVF-SQ8索引，在建立索引和检索时，需要用到的主要参数为nlist和nprobe，nlist为在进行数据向量检索时所有向量的组数，nprobe为在进行数据向量检索时相似向量的组数。经实验证明，nlist和nprobe对召回率和检索时间有着很大的影响。虽然Milvus官方给出了nlist的推荐设置值，但多种实验证明推荐值并不能适配所有场景。nprobe的设置也没有确切的值，需要大量实验才可得出，会耗费大量时间。另外，召回率作为评判检索效果的量值。目前的一些计算方法无法准确反映索引在多种数据上的表现，所以，就需提供一种可以通过不同的枚举规则来精确获得数据向量的检索参数（nlist和nprobe）的方法。

具体的，Milvus数据库参数确定方法，如图2所示，应用于参数确定系统，参数确定系统通信连接有Milvus数据库和外部矢量数据库，外部矢量数据库为矢量数据库，外部矢量数据库存储有与Milvus数据库节点相同的若干数据向量；Milvus数据库和外部矢量数据库的数据库类型不同，且Milvus数据库和外部矢量数据库的数据向量的比对方法不同。

参数确定系统为根据不同的nlist和nprobe的取值来确定输出的目标nlist和目标nprobe的测试系统，外部矢量数据库为Milvus数据库的对比数据库，其作用为根据不同取值的nlist和nprobe来输出不同的召回率，通过输出的召回率和用户输入的召回率之间的比较来确定nlist和nprobe的目标取值。

所述Milvus数据库参数确定方法，如图1所示，包括如下步骤：

S100、获取输入的目标召回率S₀；

目标召回率S₀为用户或测试员输入的召回率值，为最终要确定的nlist和nprobe对应的召回率值或最接近的召回率值；

S200、确定初始nprobe值L₁和初始nlist值L₂；

初始nprobe值L₁和初始nlist值L₂有两种方法确定，一种为用户输入的初始值，一种为根据Milvus数据库的结构特性得到的初始值。

进一步，步骤S200，包括：

S201、获取输入的原始nprobe值NL₁和原始nlist值NL₂；

S202、若NL₁≥d，且NL₁≤NL₂*b；则确定L₁=NL₁，L₂=NL₂；其中，b为预设的参数系数，b＜1；d为预设的参数阈值。

步骤S201和S202即为初始nprobe值L₁和初始nlist值L₂的第一种确定方法，原始nprobe值NL₁和原始nlist值NL₂即为用户输入的初始值，但为了保证用户输入的初始值为正确参数，或符合数据向量检索的参数，就需对NL₁和NL₂进行判断比较。只有同时满足NL₁≥d且NL₁≤NL₂*b两个条件，才能将NL₁确定为L₁，将NL₂确定为L₂，b为NL₁和NL₂之间的关联系数，一般取1/32，d为参数阈值，一般取8，因为要进行数据向量检索的nprobe参数值不能小于参数阈值，所以，通过NL₁≥d这个条件来确定用户输入的NL₁是否满足条件，若NL₁和NL₂同时满足此两个条件，则优先选用用户输入的NL₁和NL₂，若用户输入的NL₁和NL₂不满足上述其中一个条件，则返回输入参数不满足条件提示，以告知用户其输入的NL₁和NL₂不满足数据向量检索条件，需重新输入，若用户选择不再输入，或用户在开始阶段也未输入NL₁和NL₂，则参数确定系统选用第二种初始nprobe值L₁和初始nlist值L₂的确定方法。

第二种初始nprobe值L₁和初始nlist值L₂的确定方法为：

S203、初始nlist值L₂=4m^1/2，其中，m为Milvus数据库的数据存储层的数据段中实体的最大存储容量；

S210、获取L₀=L₂*b；

S220、若L₀＜d，则确定L₁=d；若L₀≥d，则确定L₁=L₀；

初始nprobe值L₁和初始nlist值L₂的第二种确定方法中，是在用户未输入原始nprobe值NL₁和原始nlist值NL₂的情况下进行的，先获取Milvus数据库的数据存储层的数据段中实体的最大存储容量m，再将m取根号乘4，得到初始nlist值L₂，再将L₂乘关联系数b得到L₀，判断L₀是否小于预设的参数阈值d，若是，则表示得到的L₀不符合数据向量检索的nprobe参数值的要求，则将L₁取参数阈值d；若否，则表示得到的L₀符合数据向量检索的nprobe参数值的要求，则将L₀确定为L₁；

S300、从外部矢量数据库中随机取出一数据向量，并将其确定为第一待比对向量；

因为外部矢量数据库为Milvus数据库的对比数据库，所以，从中随机取出一个数据向量作为第一待比对向量，用于做后续的向量比对工作。

S400、根据第一待比对向量、L₁和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第一召回率S₁；

由于已经确定出了L₁和L₂，就需以第一待比对向量作为输入向量，以L₁和L₂作为初始的数据向量检索参数，分别与Milvus数据库和外部矢量数据库中每一数据向量进行向量比对，再根据向量比对的结果得到第一次向量检索的召回率S₁。

具体的，步骤S400，包括：

S410、根据L₁和L₂，将第一待比对向量与Milvus数据库中每一数据向量进行向量比对处理，获取第一待比对向量与Milvus数据库中每一数据向量之间的相似度，得到第一相似度集Q={Q₁,Q₂,……,Q_i,……,Q_n}；其中，i=1,2,……,n；n为Milvus数据库中数据向量的数量；Q_i为第一待比对向量与Milvus数据库中第i个数据向量之间的相似度；

S420、根据L₁和L₂，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，获取第一待比对向量与外部矢量数据库中除第一待比对向量以外的每一数据向量之间的相似度，得到第二相似度集E={E₁,E₂,……,E_j,……,E_n-1}；其中，j=1,2,……,n-1；E_j为第一待比对向量与外部矢量数据库中第j个数据向量之间的相似度；

S430、按照数值递减，对Q₁,Q₂,……,Q_i,……,Q_n进行排序，以得到第一排序列表W={W₁,W₂,……,W_i,……,W_n}；其中，W_i为W中第i个相似度；

S440、按照数值递减，对E₁,E₂,……,E_j,……,E_n-1进行排序，以得到第二排序列表F={F₁,F₂,……,F_j,……,F_n-1}；其中，F_j为F中第j个相似度；

S450、将W₁,W₂,……,W_g,……,W_k对应的数据向量确定为第一匹配向量，获取每一第一匹配向量，得到第三相似度集Y={Y₁,Y₂,……,Y_g,……,Y_k}；其中，g=1,2,……,k；k为Y中相似度的数量；k≤n-1；W_g为W中第g个相似度；Y_g为Y中第g个相似度；W₁,W₂,……,W_g,……,W_k为W中前k个相似度；

S460、将F₁,F₂,……,F_g,……,F_k对应的数据向量确定为第二匹配向量，获取每一第二匹配向量，得到第四相似度集Z={Z₁,Z₂,……,Z_g,……,Z_k}；其中，F_g为F中第g个相似度；Z_g为Z中第g个相似度；F₁,F₂,……,F_g,……,F_k为F中前k个相似度；

S470、确定第一召回率S₁=a/k；其中，a为Y和Z的交集中的相似度的数量；

步骤S400中，先根据L₁和L₂，将第一待比对向量与Milvus数据库中每一数据向量进行向量比对处理，得到第一待比对向量与Milvus数据库中每一数据向量做向量比对的相似度集Q，再根据L₁和L₂，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，得到第一待比对向量与外部矢量数据库中每一数据向量做向量比对的相似度集E，再分别对Q和E中的所有相似度根据数值由大到小进行排序，各选择排序后的前k个相似度，由于外部矢量数据库与Milvus数据库的向量比对方法不同，所以，同一个数据向量在两个数据库中所得到的相似度的值也可能不同，选两个排序后的相似度集合中各前k个相似度做相交处理，得到相交后的相似度的数量a，再将a与k做比值，得到第一召回率S₁。

如图5所示，由于nprobe值对召回率和耗时的影响较大，且改变nlist值需要重建索引，耗时较高，因此，优先考虑枚举nprobe值，先确定目标nprobe值，再确定目标nlist值。

S500、将第一待比对向量放回外部矢量数据库，从外部矢量数据库中随机取出一数据向量，并将其确定为第二待比对向量；根据第二待比对向量、S₀、S₁、L₁和L₂，确定出L₁对应的目标nprobe值L₃；

得出第一召回率S₁后，将S₁和S₀做数值比较，再根据比较结果和不同的枚举方向，确定出目标nprobe值L₃。

具体的，步骤S500，包括：

S510、获取L₃=L₁；

S520、若S₀＜S₁，则执行步骤S530；若S₀≥S₁，则执行步骤S532；

S530、将数值调整方向确定为第一方向，并执行步骤S531；

S531、获取L₃=L₃*α，并执行步骤S540；其中，α＞1，α为第一预设系数；α根据现有技术中nprobe参数测试的枚举规则而定，从大于1的最小整数开始枚举，α越大，则L₃也对应越大；

S532、将数值调整方向确定为第二方向，并执行步骤S533；其中，第二方向与第一方向互为反方向；

S533、获取L₃=L₃/α，并执行步骤S540；

S540、根据第二待比对向量、L₃和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第二召回率S₂；

S550、若|S₂-S₁|＞β，则执行步骤S560；若|S₂-S₁|≤β，则执行步骤S600；其中，β为预设的召回率阈值；β根据现有技术中召回率测试的阈值而定；

S560、在当前的数值调整方向为第一方向时，若S₂＜S₀，则执行步骤S531；若S₂≥S₀，则执行步骤S600；在当前的数值调整方向为第二方向时，若S₂≥S₀，则执行步骤S533；若S₂＜S₀，则执行步骤S600；

步骤S500为目标nprobe值L₃的确定方法步骤，先将L₁赋值给L₃，再对比S₀和S₁的数值大小，若S₀＜S₁，则将第一方向确定为数值调整方向，即枚举方向为第一方向，再将L₃*α赋值给新的L₃；若S₀≥S₁，则将第二方向确定为数值调整方向，即枚举方向为第二方向，再将L₃/α赋值给新的L₃，再根据当前的L₃、L₂，将第二待比对向量与Milvus数据库和外部矢量数据库中的每一数据向量分别进行向量比对，得到第二召回率S₂。

如图3所示，通过现有的数据向量比对实验可知，随着nprobe值的增大，召回率增长率会逐渐减小，最终会接近某一个值，因此，当枚举nprobe值时，只要上一轮的召回率与本轮的召回率相差在一个阈值内时，就结束nprobe值的枚举，将当前nprobe值确定为目标nprobe值，也加快了实验速度，缩小了参数确定的时间。所以，在得到第二召回率S₂后，将S₂与S₁做差值，并取绝对值，将差值与召回率阈值β做比较，若大于β，则说明该轮数据向量比对得到的召回率与上轮数据向量比对得到的召回率的差值偏大，可以继续按照原数值调整方向来对nprobe值进行数值大小调整，直到某一轮数据向量比对的召回率和其上轮数据向量比对的召回率的差值小于等于β或某一轮数据向量比对的召回率高于或低于目标召回率为止，高于或低于目标召回率的判断条件以步骤S560中所述为判断依据；若差值不大于β，则说明该轮数据向量比对得到的召回率与上轮数据向量比对得到的召回率的差值较小，说明再继续调整nprobe值，对召回率的影响也不大，所以，将此时的L₃确定为目标nprobe值。

第一方向为召回率减小方向，目的是为了调小召回率；第二方向为召回率增大方向，目的是为了增大召回率，以使每轮数据向量比对得到的召回率更接近目标召回率。

S600、根据第二待比对向量、S₀、L₃和L₂，确定出L₂对应的目标nlist值L₄；

确定出目标nprobe值L₃后，将S₂和S₀做数值比较，再根据比较结果和不同的枚举方向，确定出目标nlist值L₄。

具体的，步骤S600，包括：

S610、获取L₄=L₂；

S620、若S₂＜S₀，则执行步骤S630；若S₂≥S₀，则执行步骤S632；

S630、将数值调整方向确定为第二方向，并执行步骤S631；

S631、获取L₄=L₄*γ，并执行步骤S640；其中，γ＜1，γ为第二预设系数；γ根据现有技术中nlist参数测试的枚举规则而定，γ越小，得到的下一个L₄越小；

S632、将数值调整方向确定为第一方向，并执行步骤S633；

S633、获取L₄=L₄/γ，并执行步骤S640；

S640、根据第二待比对向量、L₃和L₄，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第三召回率S₃；

S650、在当前的数值调整方向为第二方向时，若S₃＜S₀，则执行步骤S631；若S₃≥S₀，则执行步骤S700；在当前的数值调整方向为第一方向时，若S₃≥S₀，则执行步骤S633；若S₃＜S₀，则执行步骤S660；

S660、获取L₄=L₄*γ，并执行步骤S700；

步骤S600为目标nlist值L₄的确定方法步骤，其与目标nprobe值L₃的确定方法相同，先将L₂赋值给L₄，再对比S₂和S₀的数值大小，若S₂＜S₀，则将第一方向确定为数值调整方向，即枚举方向为第一方向，再将L₄*γ赋值给新的L₄；若S₂≥S₀，则将第二方向确定为数值调整方向，即枚举方向为第二方向，再将L₄/γ赋值给新的L₄，再根据当前的L₄、L₃，将第二待比对向量与Milvus数据库和外部矢量数据库中的每一数据向量分别进行向量比对，得到第三召回率S₃。

在确定目标nprobe值L₃和目标nlist值L₄时，所进行的每轮向量比对的待比对向量可以采用上一轮的待比对向量，即第二待比对向量，也可将第二待比对向量放回外部矢量数据库中，再从外部矢量数据库中重新随机取出一个待比对向量作为第三待比对向量，进行新一轮的向量比对，确保每轮向量比对所产生的召回率之间没有关联，保证得到的召回率和nprobe、nlist参数的准确性。且目标nprobe值L₃和目标nlist值L₄的确定方法在实际测试时是同时进行的，即确定目标nprobe值时，随即也确定了目标nlist值，但为了说明两个参数的不同测试步骤，本发明的参数确定方法特将其分开说明。

如图4所示，通过现有的数据向量比对实验可知，随着nlist值的增大，召回率会逐渐减小，nlist参数和召回率为负相关。因此，当数值调整方向为第一方向，即召回率减小方向时，就要增大nlist值，反之，数值调整方向为第二方向，即召回率增大方向时，就要减小nlist值。再根据当前的L₃和L₄，将第二待比对向量与Milvus数据库和外部矢量数据库中的每一数据向量进行向量比对，得到第三召回率S₃。再判断S₃和S₀的数值大小，若当前数值调整方向为第二方向，且S₃＜S₀，则表示此时的召回率还未达到目标召回率的标准或高于目标召回率，还需要对nlist值继续减小，直至得到的召回率高于或等于目标召回率时，将当前的召回率对应的L₄确定为目标nlist值；若当前数值调整方向为第二方向，且S₃≥S₀，则表示此时的召回率已经达到目标召回率的标准（等于或高于目标召回率），则将此时的L₄确定为目标nlist值；若当前数值调整方向为第一方向，且S₃≥S₀，则表示此时的召回率还未接近目标召回率，还需要对nlist值继续增大，使得到的召回率继续降低，直至得到的召回率低于目标召回率时，将上一轮的召回率对应的L₄确定为目标nlist值；若当前数值调整方向为第一方向，且S₃＜S₀，则表示此时的召回率已经不满足目标召回率的标准，则将上一轮的召回率对应的L₄确定为目标nlist值。

步骤S500和步骤S600中的向量比对的方法与步骤S400相同，只是做向量比对的nprobe参数和nlist参数不同，其召回率的获得方法是相同的。

S700、输出L₃、L₄和S₃；其中，S₃为根据第二待比对向量、L₃和L₄分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对后得到的第三召回率；S₃≥S₀。

此外，在步骤S300之后，还需对Milvus数据库和外部矢量数据库做数据向量比对前的数据连通测试方法，具体为：

S310、进行与Milvus数据库的数据连通测试；若数据连通成功，则执行步骤S320；若数据连通失败，则发送连通失败提示；

S320、进行与外部矢量数据库的数据连通测试；若数据连通成功，则执行步骤S400；若数据连通失败，则发送连通失败提示。

本发明的Milvus数据库参数确定方法，根据第一待比对向量、初始nprobe值L₁和初始nlist值L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，得到第一召回率S₁，对比S₁和S₀，确定nprobe值的数值调整方向，并对L₃赋值，根据第二待比对向量、L₃和L₂，得到第二召回率S₂，若S₂与S₁的差值不大于召回率阈值，则将L₃确定为目标nprobe值；再对比S₂和S₀，确定nlist值的数值调整方向，并对L₄赋值，根据第二待比对向量、L₃和L₄，得到第三召回率S₃，若S₃不小于S₀，则将L₄确定为目标nlist值。以每次得出的召回率与目标召回率做比较，来确定nprobe值和nlist值的枚举方向，使得可在短时间内获取准确的nprobe值和nlist值，较现有技术需用大量数据递归遍历nprobe值和nlist值并计算召回率的枚举实验相比，本发明的枚举实验次数少且获得的nprobe值和nlist值更为精确，实验人员无需制定复杂的实验方案即可确定nprobe值和nlist值并立即进行Milvus数据库的使用，用户在使用Milvus数据库进行数据向量检索时也无需输入nprobe值和nlist值，简便了用户的处理过程。且通过确定的nprobe值和nlist值与对应得到的召回率做参数记录表，便于在用户输入目标召回率时，即可通过查询参数记录表得知对应的nprobe值和nlist值，而不用再次进行参数实验。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种Milvus数据库参数确定方法，其特征在于，应用于参数确定系统，所述参数确定系统通信连接有Milvus数据库和外部矢量数据库，所述外部矢量数据库存储有与所述Milvus数据库节点相同的若干数据向量；所述Milvus数据库和外部矢量数据库的数据库类型不同，且Milvus数据库和外部矢量数据库的数据向量的比对方法不同；

所述Milvus数据库参数确定方法，包括如下步骤：

S100、获取输入的目标召回率S₀；

S200、确定初始nprobe值L₁和初始nlist值L₂；

S300、从所述外部矢量数据库中随机取出一数据向量，并将其确定为第一待比对向量；

S400、根据所述第一待比对向量、L₁和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第一召回率S₁；

S500、将所述第一待比对向量放回所述外部矢量数据库，从所述外部矢量数据库中随机取出一数据向量，并将其确定为第二待比对向量；根据第二待比对向量、S₀、S₁、L₁和L₂，确定出L₁对应的目标nprobe值L₃；

S600、根据所述第二待比对向量、S₀、L₃和L₂，确定出L₂对应的目标nlist值L₄；

S700、输出L₃、L₄和S₃；其中，S₃为根据第二待比对向量、L₃和L₄分别对Milvus数据库中的和外部矢量数据库中的数据向量进行向量比对后得到的第三召回率；S₃≥S₀。

2.根据权利要求1所述的Milvus数据库参数确定方法，其特征在于，S500中，根据第二待比对向量、S₀、S₁、L₁和L₂，确定出L₁对应的目标nprobe值L₃，包括：

S510、获取L₃=L₁；

S520、若S₀＜S₁，则执行步骤S530；若S₀≥S₁，则执行步骤S532；

S530、将数值调整方向确定为第一方向，并执行步骤S531；

S531、获取L₃=L₃*α，并执行步骤S540；其中，α＞1，α为第一预设系数；

S532、将数值调整方向确定为第二方向，并执行步骤S533；其中，所述第二方向与所述第一方向互为反方向；

S533、获取L₃=L₃/α，并执行步骤S540；

S540、根据第二待比对向量、L₃和L₂，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第二召回率S₂；

S550、若|S₂-S₁|＞β，则执行步骤S560；若|S₂-S₁|≤β，则执行步骤S600；其中，β为预设的召回率阈值；

S560、在当前的数值调整方向为第一方向时，若S₂＜S₀，则执行步骤S531；若S₂≥S₀，则执行步骤S600；在当前的数值调整方向为第二方向时，若S₂≥S₀，则执行步骤S533；若S₂＜S₀，则执行步骤S600。

3.根据权利要求2所述的Milvus数据库参数确定方法，其特征在于，所述步骤S600，包括：

S610、获取L₄=L₂；

S620、若S₂＜S₀，则执行步骤S630；若S₂≥S₀，则执行步骤S632；

S630、将数值调整方向确定为第二方向，并执行步骤S631；

S631、获取L₄=L₄*γ，并执行步骤S640；其中，γ＜1，γ为第二预设系数；

S632、将数值调整方向确定为第一方向，并执行步骤S633；

S633、获取L₄=L₄/γ，并执行步骤S640；

S640、根据第二待比对向量、L₃和L₄，分别对Milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第三召回率S₃；

S650、在当前的数值调整方向为第二方向时，若S₃＜S₀，则执行步骤S631；若S₃≥S₀，则执行步骤S700；在当前的数值调整方向为第一方向时，若S₃≥S₀，则执行步骤S633；若S₃＜S₀，则执行步骤S660；

S660、获取L₄=L₄*γ，并执行步骤S700。

4.根据权利要求1所述的Milvus数据库参数确定方法，其特征在于，所述初始nlist值L₂=4m^1/2，其中，m为所述Milvus数据库的数据存储层的数据段中实体的最大存储容量。

5.根据权利要求4所述的Milvus数据库参数确定方法，其特征在于，所述初始nprobe值L₁，通过以下步骤确定：

S210、获取L₀=L₂*b；其中，b为预设的参数系数，b＜1；

S220、若L₀＜d，则确定L₁=d；若L₀≥d，则确定L₁=L₀；其中，d为预设的参数阈值。

6.根据权利要求1所述的Milvus数据库参数确定方法，其特征在于，所述步骤S400，包括：

S410、根据L₁和L₂，将所述第一待比对向量与所述Milvus数据库中每一数据向量进行向量比对处理，获取所述第一待比对向量与所述Milvus数据库中每一数据向量之间的相似度，得到第一相似度集Q={Q₁,Q₂,……,Q_i,……,Q_n}；其中，i=1,2,……,n；n为Milvus数据库中数据向量的数量；Q_i为第一待比对向量与Milvus数据库中第i个数据向量之间的相似度；

S420、根据L₁和L₂，将所述第一待比对向量与所述外部矢量数据库中每一数据向量进行向量比对处理，获取所述第一待比对向量与所述外部矢量数据库中除所述第一待比对向量以外的每一数据向量之间的相似度，得到第二相似度集E={E₁,E₂,……,E_j,……,E_n-1}；其中，j=1,2,……,n-1；E_j为第一待比对向量与外部矢量数据库中第j个数据向量之间的相似度；

S430、按照数值递减，对Q₁,Q₂,……,Q_i,……,Q_n进行排序，以得到第一排序列表W={W₁,W₂,……,W_i,……,W_n}；其中，W_i为W中第i个相似度；

S440、按照数值递减，对E₁,E₂,……,E_j,……,E_n-1进行排序，以得到第二排序列表F={F₁,F₂,……,F_j,……,F_n-1}；其中，F_j为F中第j个相似度；

S450、将W₁,W₂,……,W_g,……,W_k对应的数据向量确定为第一匹配向量，获取每一第一匹配向量，得到第三相似度集Y={Y₁,Y₂,……,Y_g,……,Y_k}；其中，g=1,2,……,k；k为Y中相似度的数量；k≤n-1；W_g为W中第g个相似度；Y_g为Y中第g个相似度；W₁,W₂,……,W_g,……,W_k为W中前k个相似度；

S460、将F₁,F₂,……,F_g,……,F_k对应的数据向量确定为第二匹配向量，获取每一第二匹配向量，得到第四相似度集Z={Z₁,Z₂,……,Z_g,……,Z_k}；其中，F_g为F中第g个相似度；Z_g为Z中第g个相似度；F₁,F₂,……,F_g,……,F_k为F中前k个相似度；

S470、确定第一召回率S₁=a/k；其中，a为Y和Z的交集中的相似度的数量。

7.根据权利要求5所述的Milvus数据库参数确定方法，其特征在于，所述步骤S200，包括：

S201、获取输入的原始nprobe值NL₁和原始nlist值NL₂；

S202、若NL₁≥d，且NL₁≤NL₂*b；则确定L₁=NL₁，L₂=NL₂。

8.根据权利要求1所述的Milvus数据库参数确定方法，其特征在于，在所述步骤S300之后，该方法还包括：

S310、进行与所述Milvus数据库的数据连通测试；若数据连通成功，则执行步骤S320；若数据连通失败，则发送连通失败提示；

S320、进行与所述外部矢量数据库的数据连通测试；若数据连通成功，则执行步骤S400；若数据连通失败，则发送连通失败提示。

9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项所述的Milvus数据库参数确定方法。

10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。

Images