CN111368020A - 一种特征向量的比对方法、装置及存储介质 - Google Patents

Abstract

本发明涉及计算机技术领域，具体涉及一种特征向量的比对方法、装置及存储介质，所述比对方法包括：获取并发的多条特征向量检索请求；读取所述多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列；读取连续存放于第二内存中的预存特征向量；比较所述待检索特征向量队列和预存特征向量。本发明实施例的特征向量比对方法，通过将并发的多条特征向量检索请求对应的多个待检索特征向量作为一条待检索特征向量队列，提高比对速度。

Description

一种特征向量的比对方法、装置及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种特征向量的比对方法、装置及存储介质。

背景技术

随着安防监控数据的急剧增长，以及图像、视频、语音等人工智能技术的快速发展，如何在海量的数据中快速查找到相似的图像、视频、语音等非结构化数据，已成为一个迫切的需求。对于图像、视频、语音等非结构化数据，目的是提取其中的特征向量，输出与其相似的图像、视频、语音。海量特征向量数据的检索，要求算法对数据规模具有很好的可扩展性；此外，检索效率、查全率、查准率等是评价检索性能的通用指标，即不但要求检索效率高，还要保证检索的准确性。

对于海量特征向量数据检索问题，如果直接使用传统的特征向量检索方法，需要遍历整个数据库来寻找最相似的特征向量，比对速度低，特征向量管理速度也受影响，且批量比对时解决不了内存数据读取瓶颈问题。

因此，如何在特征向量比对次数不能再减少的情况下，如何提高比对速度，且满足特征向量管理速度，保证查全率和查准率，是目前面临的技术难题。

发明内容

本发明主要解决的技术问题是提供一种特征向量的比对方法，在不减少比对次数的情况下提高比对速度。

为解决上述技术问题，本发明采用的一个技术方案是，一种特征向量的比对方法，比对方法包括：

获取并发的多条特征向量检索请求；

读取多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列；

读取连续存放于第二内存中的预存特征向量；

比较待检索特征向量队列和预存特征向量。

需要说明的是“第一内存”和“第二内存”仅用于区分“内存”并没有其他限制。

为解决上述技术问题，本发明采用的第二个技术方案是，提供一种特征向量的比对装置，包括获取模块、第一读取模块、第二读取模块和比较模块；其中，获取模块用于获取并发的多条特征向量检索请求；第一读取模块用于读取多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成一条待检索特征向量队列；第二读取模块用于读取连续存放于第二内存中的预存特征向量；比较模块用于比较待检索特征向量队列和预存特征向量。

本申请还包括第三个技术方案，一种存储介质，存储介质用于存储计算机程序，计算机程序适用于处理器进行加载，用于执行上述特征向量比对方法的比对步骤。

本发明的有益效果是：本发明实施例的特征向量比对方法，通过将并发的多条特征向量检索请求对应的多个待检索特征向量作为一条待检索特征向量队列，且放置在一块连续的第一内存中，预存特征向量也连续存放于第二内存中，可以提高读取效率、提高比对速度、提高比对效率。

附图说明

图1是本发明提供的特征向量的比对方法的一实施方式的流程示意图；

图2是本发明提供的特征向量的比对方法的另一实施方式的流程示意图；

图3是本发明提供的特征向量的比对装置的第一实施方式结构示意图；

图4是本发明提供的特征向量的比对装置的第二实施方式结构示意图；

图5是本发明提供的特征向量的比对装置的第三实施方式结构示意图；

图6是本发明提供的特征向量的比对装置的第四实施方式结构示意图；

图7是本发明提供的存储介质实施例的结构示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

请参阅图1，图1是本发明提供的特征向量的比对方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤110：获取并发的多条特征向量检索请求。

其中，并发的多条特征向量是待检索的图像、视频或语音数据通过深度训练模型计算出的特征向量，经过深度训练模型分割计算出的特征向量量大，易并发出现。

图像、视频、音频数据可以是通过图像采集器采集、音频采集器获取到的，也可以是通过USB接口传输至终端，或存储在终端内存中的图像、视频或音频数据。

步骤120：读取多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列。

特征向量检索速度，特征向量数据的读取速度也是一个瓶颈，对于并发的多条特征向量请求，每次单独读取时，读取次数就会增加，会造成特征向量检索速度受到制约。本实施例通过合并并发的多条特征向量检索请求为一条待检索特征向量队列，再读取该一条待检索特征向量队列时，可以减少读取次数，进而提高特征向量检索速度；且多个待检索特征向量并放置在一块连续的第一内存，使得待检索特征向量集中放置，便于提升检索速度；同时待检索特征向量存储于内存中，可以提升读取效率。

步骤130：读取连续存放于第二内存中的预存特征向量。

预存特征向量同样为预存的图像、视频或语音数据通过深度训练模型计算出的特征向量。预存特征向量可以是已知结果的样本图像、声音或语音的特征向量。预存的样本图像、声音或语音可以为N个，N大于等于一，例如当需要检索一个图像对应的特征向量时，预存的样本图像可以是多个已知结果的样本图样。

预存特征向量预先存在内存中，且连续存放，使得预存特征向量实现集中存放。

步骤140：比较待检索特征向量队列和预存特征向量。

具体地，将待检索特征向量队列中与预存特征向量做一次检索比较，将待检索特征向量队列中的待检索特征向量与预存特征向量做比较，选出与待检索特征向量最相似的预存特征向量。如此，待检索特征向量队列与预存特征向量做一次比较即可获得多个待检索特征向量与预存特征向量比较的结果，可以达到减少比较此次；且待检索特征向量队列连续放置，预存特征特征向量也连续存在，提高检索效率的效果；且待检索特征向量队列和预存特征向量均存储于内存中，可以提高读取速度。

其中，预存特征向量通常情况下非常多，在读取预存特征向量时，一次读取预存特征向量的数量有限，本实施例对一次读取预存特征向量的数量进行了优化，具体地，本实施例的优化方案为，步骤103读取预存特征向量包括：

读取计算数量的预存特征向量，计算数量＝(缓存大小-其他缓存开销)/一条预存特征向量大小。

即一次读取计算数量的预存特征向量，其与缓存大小和每条预存特征向量的大小有关，计算数量与缓存大小正相关，与预存特征向量的大小负相关。

其中，本实施例中，步骤140：比较待检索特征向量队列和预存特征向量，具体为，比较待检索特征向量队列与一次读取的预存特征向量，选出与待检索特征向量最相似的预存特征向量，其中相似标准可以提前设定，例如当相似程度达到95％-100％时，可以认为其为最相似的。

具体地，本申请实施例中，待检索特征向量和预存特征向量均以数组的方式，包括多级索引；多级索引包括位置第一级索引、位置第二级索引、信息索引和空闲位置索引。

其中，位置第一级索引用于表示不同类型或不同通道的特征向量分成库的库位置；本实施例中，使用hashmap实现，主要功能为通过库位置，查找位置第二级索引，实际使用场景中，特征一般会按类型或者通道划分成不同的库，规模大一点的场景，库的总数一般超过1000个，通过库位置建立索引，可以提高查询速度。

位置第二级索引用于表示特征向量的特征在数组中的特征向量位置；本实施例中使用hashmap实现，主要功能为通过特征位置，查找特征在数组中的位置，实际使用场景中，每个库可能包含上万的特征数据，使用特征位置建立特征位置索引，可以提高查询速度。

信息索引用于表示特征向量的特征信息；使用数组存放特征信息，特征向量与特征信息之间，通过数组下标一一映射，特征信息包含库位置信息，特征位置信息，特征向量逻辑删除标记等信息。在本申请实施例中，比对待检索特征向量下标与特征信息索引，通过索引可以在数组中快速取到特征信息；另外特征信息中逻辑删除标记的作用是：特征向量删除时，只把删除标记置标为已删除，不实际删除特征向量，提升删除速度。

空闲位置索引用于表示数组中的空闲位置。记录特征向量数组中的空闲位置，用于添加特征时，快速从队列中取出可以插入位置，初始化或者特征删除时，会添加空闲位置到队列。

特征向量以及特征信息的组织方式，很大程度上影响了检索性能。本申请实施例中，特征向量使用数组连续存放，方便提升读取速度，同时增加四个特征向量管理数据结构，提升特征添加、删除、查询速度。

具体地，本实施例中，预存特征向量使用数组连续存放，其中在存放时，预存特征向量按照类型划分为不同的库，并根据库的位置建立位置第一级索引；根据预存特征向量的特征信息在库中的位置建立位置第二级索引，其中位置第一级索引一个主要功能是用于查找位置第二级索引，位置第一级索引与位置第二级索引映射。

例如本实施例中，预存特征向量以数组形式存放，包括特征向量A、特向量B，预存特征向量包括特征信息，本实施例中，特征信息包括库位置信息、特征位置信息、特向量逻辑删除标记，特征信息通过数组下标进行标识，例如，前四位数字标识库位置，中间三位表示特征向量位置，最后一位表示逻辑删除标记；当最后一位数字为0时表示未删除，当最后一位数字为1时表示逻辑删除；例如，特征向量A对应在数组中的下标为00010010，表示在第一个库中的第一个位置，且未删除。特征向量B的下标为00010020，表示在第一个库中的第二个位置，且未删除。特征向量A对应在数组中的下标为00010011，表示在第一个库中的第一个位置，被逻辑删除。本实施例建立信息索引，例如将特征向量A和特征向量B的特征信息00010010、00010020建立索引。

当预存特征向量在以数组形式存放时，库中存在空闲位置，例如，如图所示，本实施例中，库中存在两个空闲位置，空闲位置在数组中的下标为00010030、00010040，该两个空闲位置可以用于放置特征向量C和特征向量D，这里特征向量C和特征向量D并不做具体指定，符合库分类即可。对空闲位置建立索引，例如本实施例中，对空闲位置在数组的中的下标00010030、00010040建立索引，当需要在预存特征向量数组中添加预存特征向量时，可以快速从空闲位置索引中找到符合要求的空闲位置，并插入预存特征向量于符合要求的空闲位置中。

对于待检索特征向量，也可以按照上述特征向量数组方式进行组织，待检索特征向量按照类型、特征信息进行不同的划分组织排列形成特征向量数组，并于数组中存放将待检索特征向量的特征信息，通过待检索特征向量的特征信息与预存特征向量的数组进行比对，便于快速比对，找到最近似的预存特征向量。

例如，对于人物图像的识别，预存特征向量为众多不同人物图像信息，并以数组形式存放，可以根据性别将预存的人物图像划分为不同的库，并根据库位置，建立位置第一级索引。再根据年龄范围、脸型特征或身高信息等特征信息中的一种进行排列人物图像信息，并根据年龄范围、脸型特征或身高信息等特征信息中的一种特征信息在数组中所在位置，建立位置第二级索引。特征信息包括特征库位置信息，年龄范围信息、脸型特征信或身高信息中的一种在数组中的位置，逻辑删除标记，使用数组存放特征信息，并将特征信息与人物图像信息通过数组下标一一映射，并将特征信息建立索引，形成特征信息索引，便于人物图像识别比对时，快速找到特征信息。记录人物图像信息的数组中的空闲位置，形成空闲位置索引，便于添加其他人物图像信息时，快速的添加到空闲位置中。

本实施例中，特征向量时通过深度训练模型计算出的特征向量，计算出的特征向量原始数据是FP32浮点型，在比对运算中，浮点比较耗时，且FP32浮点型的原始数据内存开销大，易造成比对过程中耗时长，一次比对量少。

为此本申请实施例中，如图2所示，特征向量比对方法还包括：步骤S100：将待检索特征向量和预存特征向量由FP32浮点型数据压缩至INT16型数据。具体为将FP32浮点型数据乘以放大系数N转换成INT16型数据，其中N大于1；本实施例中，将INT16型数据的待检索特征向量和INT16型数据的预存特征向量进行比对运算，其运算结果除上N的平方，即可得到将FP32浮点型数据的待检索特征向量和FP32浮点型数据的预存特征向量进行比对运算结果近似的结果。且当N取值合理时，结果误差可以控制在允许范围内。

本申请实施例的待检索特征向量和预存特征向量由FP32浮点型数据压缩成INT16型数据，一方面，在比对运算过程中，使得浮点运算变成短整型运算，提高了运算速度。另一方面，INT16型数据大小比FP32浮点型数据减少一半，可以提高读取速度，即可以提高读取预存特征向量的读取速度。再一方面，INT16型数据大小比FP32浮点型数据内存占用减少一半，单位内存特征向量存放量提高了两倍，从而可以增大一次读取预存特征向量的数量，减少读取次数，提升比对效率，减少比对时间。另外，将由FP32浮点型数据压缩至INT16型数据，精度损失较少，对比对效果影响较小。

具体地，本实施例中，步骤S100将待检索特征向量和预存特征向量由FP32浮点型数据压缩至INT16型数据发生在步骤S100获取并发的多条特征向量检索请求之前。在其他实施例中，将待检索特征向量和预存特征向量由FP32浮点型数据压缩至INT16型数据也可以发生步骤S130在读取预存特征向量之后，步骤S140比较待检索特征向量队列和预存特征向量之前。本实施例优选发生在获取多条特征向量检索请求之前，预存特征向量可以一次进行压缩转化为INT16数据，读取到的预存特征向量直接为INT16数据，可以直接进行比较，减少比较等待时间。

为了更好地实施以上方法，如图3所示，本申请实施例还包括一种特征向量的比对装置，包括获取模块210、第一读取模块220、第二读取模块230和比较模块240，其中，获取模块210用于获取并发的多条特征向量检索请求；第一读取模块220用于读取多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列；第二读取模块230用于读取连续存放于第二内存中的预存特征向量；比较模块240用于比较待检索特征向量队列和预存特征向量。

具体地，本申请实施例特征向量的比对装置可以集成在终端中，其中终端可以为移动终端，移动终端选自但不限于方便携带的手机、平板电脑或掌上电脑等，终端也可以为台式电脑、笔记本电脑或个人计算机等。

进一步地，如图4所示，本实施例的特征向量比对装置还包括特征向量管理模块250，特征向量管理模块250用于将待检索特征向量和预存特征向量分类建立索引。

具体地，如图5所示，本实施例中，特征向量管理模块250包括位置第一级索引单元251、位置第二级索引单元252、信息索引单元253和空闲位置索引单元254，位置第一级索引单元251用于建立存储位置第一级索引，位置第一级索引用于表示不同类型或不同通道的特征向量分成库的库位置；位置第二级索引单元252用于建立存储位置第二级索引，位置第二级索引用于表示特征向量的特征在数组中的特征向量位置；信息索引单元253用于建立存储信息索引，信息索引用于表示特征向量的特征信息，特征信息包括库位置信息、特征位置信息和特征向量逻辑删除标记；空闲位置索引单元254用于建立、更新、存储空闲位置索引，空闲位置索引用于表示数组中的空闲位置。

本实施例的特征向量管理模块，可以管理待检索特征向量和预存特征向量的组织方式，提升检索比对速度和效率。

如图6所示，本申请实施例的特征比对装置还可以包括压缩模块260，压缩模块260用于将待检索特征向量和预存特征向量由FP32浮点型数据压缩至INT16型数据。便于提高运算速度、运算速度和读取量。

本申请特征向量的比对装置，待检索特征向量通过压缩模块将待检索特征向量和预存特征向量由FP32浮点型数据乘上放大系数N压缩至INT16型数据，特征向量管理模块250通过位置第一级索引单元251、位置第二级索引单元252、信息索引单元253和空闲位置索引单元254将预存特征向量以数组形式组织管理起来并建立相应索引；获取模块210获取并发的多条特征向量检索请求，第一读取模块220，读取多条特征向量检索请求对应的多个待检索特征向量作为一条待检索特征向量队列，第二读取模块230读取预存特征向，比较模块240比较待检索特征向量队列和预存特征向量，从而获得比较结果。进一步可以将比较结果除以放大系数N的平方获得FP32浮点型数据特征向量比对结果。

本申请实施例的特征向量的比对装置，在通过聚类、降维处理后，特征向量比对次数不能再减少的情况下，通过合并多条检索请求为一条检索请求，提高比对速度。同时还可以满足特征向量管理速度，增加特征向量，删除特征向量和特征向量查找。

如图7所示，本申请实施例还包括一种存储介质300，存储介质300用于存储计算机程序310，计算机程序310适用于处理器进行加载，用于执行上述特征向量比对方法的比对步骤。以实现比特征向量比对效果。计算机程序310包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。存储介质300可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种特征向量的比对方法，其特征在于，所述比对方法包括：

获取并发的多条特征向量检索请求；

读取所述多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列；

读取连续存放于第二内存中的预存特征向量；

比较所述待检索特征向量队列和预存特征向量。

2.根据权利要求1所述的比对方法，其特征在于，所述读取预存特征向量包括：

读取计算数量的预存特征向量，所述计算数量＝(缓存大小-其他缓存开销)/一条预存特征向量大小。

3.根据权利要求1所述的比对方法，其特征在于，所述待检索特征向量和所述预存特征向量均以数组的方式，包括多级索引；所述多级索引包括：

位置第一级索引，用于表示不同类型或不同通道的特征向量分成库的库位置；

位置第二级索引，用于表示特征向量的特征在数组中的特征位置；

信息索引，用于表示特征向量的特征信息；

空闲位置索引，用于表示数组中的空闲位置。

4.根据权利要求3所述的比对方法，其特征在于，所述特征信息包括库位置信息、特征位置信息和特征向量逻辑删除标记。

5.根据权利要求1所述的比对方法，其特征在于，所述比对方法进一步包括：

将所述待检索特征向量和所述预存特征向量由FP32浮点型数据压缩至INT16型数据。

6.根据权利要求5所述的比对方法，其特征在于，所述将所述待检索特征向量和所述预存特征向量由FP32浮点型数据压缩至INT16型数据包括：将所述待检索特征向量和所述预存特征向量的FP32浮点型数据乘上放大系数N转换成INT16型数据。

7.根据权利要求6所述的比对方法，其特征在于，所述比较所述待检索特征向量队列和预存特征向量还包括：将INT16型数据比较结果除以N的平方，获得所述FP32浮点型数据特征向量比较结果。

8.一种特征向量的比对装置，其特征在于，包括：

获取模块，用于获取并发的多条特征向量检索请求；

第一读取模块，用于读取所述多条特征向量检索请求对应的多个待检索特征向量并放置在一块连续的第一内存，形成待检索特征向量队列；

第二读取模块，用于读取连续存放于第二内存中的预存特征向量；

比较模块，用于比较所述待检索特征向量队列和预存特征向量。

9.根据权利要求8所述的特征向量的比对装置，其特征在于，包括特征向量管理模块，将所述待检索特征向量和所述预存特征向量分类建立索引。

10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序适用于处理器进行加载，用于执行权利要求1-7任意一项所述的特征向量比对方法的比对步骤。

Images