CN114417060A - 应用于实时流布控系统的特征向量检索方法及布控系统 - Google Patents

Abstract

本发明涉及智能视频图像处理技术领域，尤其涉及一种应用于实时流布控系统的特征向量检索方法及布控系统，针对实时采集布控的特征向量检索过程，增设能够动态更新的缓存特征向量库，将本应全部基于特征向量底库数据的特征向量检索进行分层计算，通过实时的特征向量检索过程不断更新缓存特征向量库中的数据，使缓存特征向量检索过程可以识别出频繁出现的目标，拦截掉大量底库特征向量检索请求，能够有效改善现有技术中底库特征向量检索全量对比所带来的延时和计算量大的问题。

Description

应用于实时流布控系统的特征向量检索方法及布控系统

技术领域

本发明涉及智能视频图像处理技术领域，尤其涉及一种应用于实时流布控系统的特征向量检索方法及布控系统。

背景技术

摄像机配合特征实时布控系统，可以实现摄像机下目标定位、目标查找，常用于安防人员布控、商超VIP客户快速识别等场景。目前的实现方法是每当摄像机检测到一个关注目标的特征向量时，就会在布控特征向量库中进行特征向量检索，通过检索结果返回的相似度量值来判断是否有布控目标出现。为了保证检索的实时性，目前的布控特征向量库对存入的特征向量数量上作了限制，且在实时采集布控的过程中通过丢弃部分特征向量或延时处理的方式来降低因为并发量或性能波动所带来的性能消耗。但目前的实时布控的特征向量检索方法仍存在高延时和计算量大等问题。

发明内容

本发明的目的在于提供一种应用于实时流布控系统的特征向量检索方法及布控系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

本发明提供了一种应用于实时流布控系统的特征向量检索方法，包括：

接收对目标特征向量的布控检索请求；

基于所述目标特征向量在缓存特征向量库中进行缓存特征向量检索并将所述目标特征向量存入所述缓存特征向量库中；

若所述缓存特征向量检索的检索结果中存在命中特征向量，则将所述目标特征向量与所述命中特征向量建立关联关系；

若所述缓存特征向量检索的检索结果中不存在命中特征向量，则基于所述目标特征向量在特征向量底库中进行底库特征向量检索；

若所述底库特征向量检索的检索结果中存在命中特征向量，则将所述命中特征向量增加到所述缓存特征向量库中，并与所述目标特征向量建立关联关系；

其中，所述命中特征向量是与所述目标特征向量之间相似度大于等于最小相似度阈值的特征向量；所述缓存特征向量库的最大数据量小于所述特征向量底库的总数据量。

优选的，所述特征向量分为存入特征向量底库中的底库特征向量和未存入特征向量底库中的非底库特征向量。

优选的，在进行所述缓存特征向量检索前，若检测到所述缓存特征向量库为空，则直接基于所述目标特征向量进行底库特征向量检索，并将所述目标特征向量存入所述缓存特征向量库中。

优选的，若所述缓存特征向量检索的检索结果中存在命中特征向量，则更新所述命中特征向量及其关联特征向量的命中次数；若所述缓存特征向量库的数据量超过最大缓存量阈值，则在所述缓存特征向量库中删除命中次数最少且缓存时间最长的特征向量及其关联关系。

优选的，若所述命中特征向量关联的特征向量数超过最大关联数阈值，则在所述缓存特征向量库中删除所述命中特征向量关联的缓存时间最长的非底库特征向量及其关联关系。

优选的，当特征向量存入到所述缓存特征向量库中时，记录特征向量的存入时间；当目标特征向量与命中特征向量建立关联关系时，将所述命中特征向量关联的底库特征向量的存入时间更新为与所述目标特征向量的存入时间相同。

优选的，若所述缓存特征向量库中存在缓存时间超过最大缓存时间阈值的超时特征向量时，则删除所述超时特征向量及其关联关系。

相应的，本发明还提供了一种实时流布控系统，包括：

图像采集模块，用于获取视频或图片流中当前帧目标图像；

目标检测模块，用于检测所述当前帧目标图像中的待识别目标，并输出目标矩形框坐标；

特征提取模块，用于提取所述待识别目标的目标特征向量；

目标布控模块，包括缓存特征向量库和特征向量底库，用于实现如上任一项所述的特征向量检索方法，以获取布控检索结果；

目标跟踪模块，用于根据所述布控检索结果更新所述待识别目标的标识身份。

本发明的有益效果是：

本发明提供了一种应用于实时流布控系统的特征向量检索方法及布控系统，针对实时采集布控的特征向量检索过程，增设能够动态更新的缓存特征向量库，将本应全部基于特征向量底库数据的特征向量检索进行分层计算，通过实时的特征向量检索过程不断更新缓存特征向量库中的数据，使缓存特征向量检索过程可以识别出频繁出现的目标，拦截掉大量底库特征向量检索请求，能够有效改善现有技术中底库特征向量检索全量对比所带来的延时和计算量大的问题。

附图说明

图1是本发明实施例中实时流布控系统的结构示意图；

图2是本发明实施例中特征向量检索方法的流程示意图；

图3是本发明另一实施例中特征向量检索方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供了一种实时流布控系统，包括：

图像采集模块101，用于获取视频或图片流中当前帧目标图像。

目标检测模块102，用于检测所述当前帧目标图像中的待识别目标，并输出目标矩形框坐标；所述待识别目标可以是人脸、行人、车辆等。

特征提取模块103，用于提取所述待识别目标的目标特征向量。

目标布控模块104，包括缓存特征向量库和特征向量底库，利用缓存特征向量库和特征向量底库实现布控特征向量检索，以获取布控检索结果，根据检索结果的命中情况，将当前待识别目标与预存的布控目标进行匹配。其中，特征向量底库中预存有全部布控目标的特征向量，缓存特征向量库中存有近期高频出现的目标特征向量，并能实时动态更新，且所述缓存特征向量库的最大数据量小于所述特征向量底库的总数据量。在具体实施中，缓存特征向量库可以是一个向量检索引擎，也可以是KV之类的数据库，同时可以提供存储和查询结构化信息的功能，如mariadb数据库。

目标跟踪模块105，用于根据所述布控检索结果，将匹配成功的目标ID设置为对应运动轨迹的ID便于布控监测。

需要说明的是，本实施例中的获取目标矩形框坐标、提取特征向量等步骤均可由本领域中的现有技术实现，本领域技术人员对其实施无任何技术障碍，由于其并非本发明侧重点，在此不再一一举例说明。

为了实现目标布控模块104的布控特征向量检索，如图2所示，本发明提供了一种应用于实时流布控系统的特征向量检索方法，包括：

S201，接收对目标特征向量的布控检索请求。

S202，基于所述目标特征向量在缓存特征向量库中进行缓存特征向量检索并将所述目标特征向量存入所述缓存特征向量库中。

S203，若所述缓存特征向量检索的检索结果中存在命中特征向量，则将所述目标特征向量与所述命中特征向量建立关联关系。

S204，若所述缓存特征向量检索的检索结果中不存在命中特征向量，则基于所述目标特征向量在特征向量底库中进行底库特征向量检索。

S205，若所述底库特征向量检索的检索结果中存在命中特征向量，则将所述命中特征向量增加到所述缓存特征向量库中，并与所述目标特征向量建立关联关系。

本实施例中，所述命中特征向量是与所述目标特征向量之间相似度大于等于最小相似度阈值的特征向量。该最小相似度阈值包括缓存特征向量检索的最小相似度阈值和底库特征向量检索的最小相似度阈值，由于不同特征向量提取模型和相似度量方式可能存在些许差异，而最小相似度阈值又与提取特征向量的算法模型紧密相关，因此需要实际实施中结合算法特性进行设置，且缓存特征向量检索与底库特征向量检索通常需要根据对应的算法不同设定不同的告警阈值。

本实施例中，所述特征向量分为存入特征向量底库中的底库特征向量和未存入特征向量底库中的非底库特征向量。由于进行底库特征向量检索时，有底库特征向量成为命中特征向量，并存入到缓存特征向量库中与目标特征向量建立关联关系，所述缓存特征向量库中同时存有底库特征向量和非底库特征向量。而目标特征向量与命中特征向量之间的关联关系可由唯一特征向量ID、特征来源类型来表示。本申请中所说的删除特征向量的关联关系，仅表示删除该特征向量的关系标识，并非指代删除其关联的其他特征向量。处理检索结果时，可通过识别目标特征向量的关联关系中是否包含底库特征向量而确认待识别目标是否为布控目标。

当初次应用本发明方案时，缓存特征向量库往往未存入任何特征向量数据，因此在进行所述缓存特征向量检索前，若检测到所述缓存特征向量库为空，则可以直接基于所述目标特征向量进行底库特征向量检索，跳过缓存特征向量检索过程，并将所述目标特征向量存入所述缓存特征向量库中。

为了保证缓存特征向量检索的高效率，需要维持缓存特征向量库的动态更新，在有限的存储空间内存储更高频的特征向量。因此在本实施例中需要对多余或低频的特征向量进行删减，具体包括：

若所述缓存特征向量库中存在缓存时间超过最大缓存时间阈值的超时特征向量时，则删除所述超时特征向量及其关联关系。

若所述缓存特征向量库的数据量超过最大缓存量阈值，则在所述缓存特征向量库中删除命中次数最少且缓存时间最长的特征向量及其关联关系。

若所述命中特征向量关联的特征向量数超过最大关联数阈值，则在所述缓存特征向量库中删除所述命中特征向量关联的缓存时间最长的非底库特征向量及其关联关系。

在本实施中，特征向量的命中次数是随着缓存特征向量检索的检索结果实时更新的。具体的，若所述缓存特征向量检索的检索结果中存在命中特征向量，则更新所述命中特征向量及其关联特征向量的命中次数。具体实施中通常是将命中次数+1，且相互关联的特征向量共享命中次数。

在本实施中，特征向量缓存时间是根据当前时间和存入时间计算得到的。其中，当特征向量存入到所述缓存特征向量库中时，记录特征向量的存入时间；当目标特征向量与命中特征向量建立关联关系时，将所述命中特征向量关联的底库特征向量的存入时间更新为与所述目标特征向量的存入时间相同。检索命中后刷新底库特征向量的存入时间，可避免将底库特征向量因存入超时而被提前删除，保证底库特征向量是其关联关系中最后被删除的特征向量。

在本实施例中，最大关联数阈值也可以仅设置为单个底库特征向量的最大关联数阈值，即仅限制底库特征向量的最大关联数，而不限制其他非底库特征向量的关联数。即若命中特征向量及其关联特征向量包含底库特征向量，则需要进行最大关联数阈值检测，若命中特征向量及其关联特征向量不包含底库特征向量，则无需进行最大关联数阈值检测。

需要说明的是，本实施例中所述缓存特征向量检索和所述底库特征向量检索的命名仅用于区别不同检索数据库对应的特征向量检索过程。最小相似度阈值、最大关联数阈值、最大缓存量阈值和最大缓存时间阈值可在配置检索算法初始参数以及初始化缓存特征向量库时根据具体实施情况进行调整配置。

下面将结合具体实施场景对本发明作进一步说明。

如图3所示，本实施例提供了一种应用于实时流布控系统的特征向量检索方法，具体包括：

S301，配置初始参数，包括：

设置特征向量底库的最小相似度阈值s0(min)。

S302，初始化缓存特征向量库，包括：

设置最大缓存量阈值m(max)；

设置缓存特征向量库的最小相似度阈值s1(min)；

设置最大关联数阈值a(max)。

S303，接收对目标特征向量的布控检索请求，判断缓存特征向量库是否为空，如果不为空，则执行S304；如果为空，则执行S307。

S304，启动缓存特征向量检索，在缓存特征向量库中进行检索，获得检索相似度d1，判断检索结果中是否存在相似度d1大于等于最小相似度阈值s1(min)的命中特征向量，如果存在，则执行S305；如果不存在，则执行步骤S307。

S305，将目标特征向量加入缓存特征向量库，建立目标特征向量与命中特征向量的关联关系，并使命中特征向量及其关联特征向量的命中数+1，判断命中特征向量关联的特征向量数是否超过最大关联数阈值a(max)，如果超过，则执行S306；如果未超过，则执行S309；

S306，在缓存特征向量库中删除命中特征向量关联的缓存时间最长的非底库特征向量及其关联关系，然后执行S309。

S307，将目标特征向量加入缓存特征向量库，启动底库特征向量检索，在特征向量底库中进行检索，获得检索相似度d0，判断检索结果中是否存在相似度d0大于等于最小相似度阈值s0(min)的命中特征向量，如果存在，则执行S308；如果不存在，则执行S309。

S308，将命中特征向量增加到缓存特征向量库中，并与目标特征向量建立关联关系。

S309，判断缓存特征向量库的数据量是否超过最大缓存量阈值m(max)，如果超过，则执行S310；如果未超过，则执行S311。

S310，在缓存特征向量库中删除命中次数最少且缓存时间最长的特征向量及其关联关系。

S311，处理布控检索结果，将布控检索结果发送至下一任务流程。

本实施例中，可重复实施S303至S311，直至收到结束本次布控任务指令。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种基于特征向量检索的实时流布控方法及系统，针对实时采集布控的特征向量检索过程，增设能够动态更新的缓存特征向量库，将本应全部基于特征向量底库数据的特征向量检索进行分层计算，通过实时的特征向量检索过程不断更新缓存特征向量库中的数据，使缓存特征向量检索过程可以识别出频繁出现的目标，拦截掉大量底库特征向量检索请求，能够有效改善现有技术中底库特征向量检索全量对比所带来的延时和计算量大的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种应用于实时流布控系统的特征向量检索方法，其特征在于，包括：

接收对目标特征向量的布控检索请求；

基于所述目标特征向量在缓存特征向量库中进行缓存特征向量检索并将所述目标特征向量存入所述缓存特征向量库中；

若所述缓存特征向量检索的检索结果中存在命中特征向量，则将所述目标特征向量与所述命中特征向量建立关联关系；

若所述缓存特征向量检索的检索结果中不存在命中特征向量，则基于所述目标特征向量在特征向量底库中进行底库特征向量检索；

若所述底库特征向量检索的检索结果中存在命中特征向量，则将所述命中特征向量增加到所述缓存特征向量库中，并与所述目标特征向量建立关联关系；

其中，所述命中特征向量是与所述目标特征向量之间相似度大于等于最小相似度阈值的特征向量；所述缓存特征向量库的最大数据量小于所述特征向量底库的总数据量。

2.根据权利要求1所述的特征向量检索方法，其特征在于，所述特征向量分为存入特征向量底库中的底库特征向量和未存入特征向量底库中的非底库特征向量。

3.根据权利要求1所述的特征向量检索方法，其特征在于，在进行所述缓存特征向量检索前，若检测到所述缓存特征向量库为空，则直接基于所述目标特征向量进行底库特征向量检索，并将所述目标特征向量存入所述缓存特征向量库中。

4.根据权利要求1所述的特征向量检索方法，其特征在于，若所述缓存特征向量检索的检索结果中存在命中特征向量，则更新所述命中特征向量及其关联特征向量的命中次数；若所述缓存特征向量库的数据量超过最大缓存量阈值，则在所述缓存特征向量库中删除命中次数最少且缓存时间最长的特征向量及其关联关系。

5.根据权利要求2所述的特征向量检索方法，其特征在于，若所述命中特征向量关联的特征向量数超过最大关联数阈值，则在所述缓存特征向量库中删除所述命中特征向量关联的缓存时间最长的非底库特征向量及其关联关系。

6.根据权利要求1所述的特征向量检索方法，其特征在于，当特征向量存入到所述缓存特征向量库中时，记录特征向量的存入时间；当目标特征向量与命中特征向量建立关联关系时，将所述命中特征向量关联的底库特征向量的存入时间更新为与所述目标特征向量的存入时间相同。

7.根据权利要求6所述的特征向量检索方法，其特征在于，若所述缓存特征向量库中存在缓存时间超过最大缓存时间阈值的超时特征向量时，则删除所述超时特征向量及其关联关系。

8.一种实时流布控系统，其特征在于，包括：

图像采集模块，用于获取视频或图片流中当前帧目标图像；

目标检测模块，用于检测所述当前帧目标图像中的待识别目标，并输出目标矩形框坐标；

特征提取模块，用于提取所述待识别目标的目标特征向量；

目标布控模块，包括缓存特征向量库和特征向量底库，用于实现权利要求1-7任一项所述的特征向量检索方法，以获取布控检索结果；

目标跟踪模块，用于根据所述布控检索结果更新所述待识别目标的标识身份。

Images