CN112307035B - 一种特征值id的管理方法、装置、电子设备及存储介质 - Google Patents

一种特征值id的管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112307035B
CN112307035B CN202011345054.3A CN202011345054A CN112307035B CN 112307035 B CN112307035 B CN 112307035B CN 202011345054 A CN202011345054 A CN 202011345054A CN 112307035 B CN112307035 B CN 112307035B
Authority
CN
China
Prior art keywords
short
characteristic value
long
value
mapping table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011345054.3A
Other languages
English (en)
Other versions
CN112307035A (zh
Inventor
屈亚鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011345054.3A priority Critical patent/CN112307035B/zh
Publication of CN112307035A publication Critical patent/CN112307035A/zh
Application granted granted Critical
Publication of CN112307035B publication Critical patent/CN112307035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof

Abstract

本发明实施例提供一种特征值ID的管理方法、装置、电子设备及存储介质,该方法包括以下步骤:获取长特征值ID;生成与所述长特征值ID对应的短特征值ID,所述长特征值ID与短特征值ID之间存在映射关系;基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表;将所述长特征值ID、短特征值ID以及所述映射表存储到服务器中,且将所述短特征值ID存储到GPU中。本发明可以减少GPU中特征值ID的读写耗时、提高GPU存储空间的利用率以及特征搜索的搜索效率。

Description

一种特征值ID的管理方法、装置、电子设备及存储介质
技术领域
本发明涉及特征搜索技术领域,尤其涉及一种特征值ID的管理方法、装置、电子设备及存储介质。
背景技术
目前,在基于GPU硬件平台的搜索系统中,我们在显存中保存了特征值以及特征值的ID。由于这个特征值ID一般是结构化引擎生成的唯一的ID值,用于区分每个抓拍到的人像。为了满足不断增加的抓拍数量,一般都是用无符号长整型的数据类型存储(范围为:0~18446744073709551615),如图1所示。这个数据类型表示的数据范围已经远远超出了单个GPU卡所能存储的特征值个数。这就导致如下两个问题:(1)GPU设备内存中特征值ID占用了过多的存储空间,GPU存储空间的利用率变低;(2)对特征值ID的读写耗时长,导致搜索相关的增删改查性能降低。
发明内容
本发明实施例提供一种特征值ID的管理方法,能够解决了现有技术中GPU存储空间的利用率低、GPU特征值ID的读写耗时长、特征搜索的搜索效率低等问题。
第一方面,本发明实施例提供一种特征值ID的管理方法,所述方法包括:
获取长特征值ID;
生成与所述长特征值ID对应的短特征值ID,所述长特征值ID与短特征值ID之间存在映射关系;
基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表;
将所述长特征值ID、短特征值ID以及所述映射表存储到服务器中,且将所述短特征值ID存储到GPU中。
可选的,所述生成与所述长特征值ID对应的短特征值ID的步骤包括:
获取短特征值ID预存GPU卡的卡号,以得到第一码段;
获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
基于所述第一码段以及第二码段生成与所述长特征值ID对应的短特征值ID。
可选的,所述长特征值ID与所述短特征值ID之间存在一一对应关系,所述映射表包括第一映射表和/或第二映射表;所述基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表的步骤包括:
基于所述长特征值ID与所述短特征值ID之间的一一对应关系将所述长特征值ID做为第一键值以及将所述短特征值ID做为第一目标值建立对应的第一映射表;
和/或,基于所述短特征值ID与所述长特征值ID之间的一一对应关系将所述短特征值ID做为第二键值以及将所述长特征值ID做为第二目标值建立对应的第二映射表。
可选的,所述方法还包括以下步骤:
接收搜索指令,所述搜索指令包括长特征值ID或短特征值ID;
根据接收到的长特征值ID基于所述第一映射表查询到与所述长特征值ID对应的短特征值ID;
将查询到的短特征值ID对应的图像返回给用户端;
或,根据接收到的短特征值ID基于所述第二映射表查询到与所述短特征值ID对应的长特征值ID;
将查询到的长特征值ID对应的图像返回给用户端。
可选的,所述服务器中还存储有与所述长特征值ID对应的长特征值、以及与所述短特征值ID对应的短特征值,所述GPU中还存储有与所述短特征值ID对应的短特征值;所述方法还包括以下步骤:
接收删除指令,所述删除指令包括长特征值以及对应的长特征值ID或短特征值以及对应的短特征值ID;
根据所述长特征值ID以及第一映射表删除所述服务器中的长特征值以及对应的长特征值ID、短特征值以及对应的短特征值ID、以及第一映射表中长特征值ID与短特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID;
或,根据所述短特征值ID以及第二映射表删除所述服务器中的短特征值以及短特征值ID、长特征值以及对应的长特征值ID、以及第二映射表中短特征值ID与长特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
第二方面,本发明实施例还提供一种特征值ID的管理装置,所述装置包括:
获取模块,用于获取长特征值ID;
生成模块,用于生成与所述长特征值ID对应的短特征值ID,所述长特征值ID与短特征值ID之间存在映射关系;
建立模块,用于基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表;
存储模块,用于将所述长特征值ID、短特征值ID以及所述映射表存储到服务器中,且将所述短特征值ID存储到GPU中。
可选的,所述生成模块包括:
第一获取单元,用于获取短特征值ID预存GPU卡的卡号,以得到第一码段;
第二获取单元,用于获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
生成单元,用于基于所述第一码段以及第二码段生成与所述长特征值ID对应的短特征值ID。
可选的,所述长特征值ID与所述短特征值ID之间存在一一对应关系,所述映射表包括第一映射表和/或第二映射表;所述建立模块包括:
第一建立单元,用于基于所述长特征值ID与所述短特征值ID之间的一一对应关系将所述长特征值ID做为第一键值以及将所述短特征值ID做为第一目标值建立对应的第一映射表;
和/或,第二建立单元,用于将所述短特征值ID与所述长特征值ID之间的一一对应关系将所述短特征值ID做为第二键值以及将所述长特征值ID做为第二目标值建立对应的第二映射表。
第三方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中提供的特征值ID的管理方法中的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中提供的特征值ID的管理方法中的步骤。
在本发明实施例中,通过获取长特征值ID;生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系;基于长特征值ID与短特征值ID之间的映射关系建立映射表;将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。这样可以合理的利用服务器的大内存储空间存储长特征值ID、短特征值ID、以及映射表,而GPU只需要存储短特征值ID,避免长特征值ID以及映射表占用GPU显存的存储空间,以释放GPU的存储空间。在GPU进行搜索工作时,GPU可以有足够的存储空间,进而可以提高GPU存储空间的利用率。且在服务器与GPU之间通过映射表可以双向查询到对应的长特征值ID或短特征值ID,同时仅仅将短特征值ID录入GPU,能够减少GPU中特征值ID的读写耗时,可以提高特征搜索的搜索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术提供的一种特征值ID管理机制示意图;
图2是本发明实施例提供的一种特征值搜索系统的示意图;
图3是本发明实施例提供的一种特征值ID的管理方法的流程图;
图4是本发明实施例中步骤202提供的一种方法的流程图;
图5是本发明实施例提供的一种短特征值ID生成方法的流程图;
图6是本发明实施例中步骤203提供的一种方法的流程图;
图7是本发明实施例提供的一种第一映射表生成方法的流程图;
图8是本发明实施例提供的一种第二映射表生成方法的流程图;
图9是本发明实施例提供的特征值ID管理机制的示意图;
图10是本发明实施例提供的另一种特征值ID的管理方法的流程图;
图11是本发明实施例提供的又一种特征值ID的管理方法的流程图;
图12是本发明实施例提供的一种特征值ID的管理装置的结构示意图;
图13是本发明实施例中生成模块提供的一种结构示意图;
图14是本发明实施例中建立模块提供的一种结构示意图;
图15是本发明实施例提供的另一种特征值ID的管理装置的结构示意图;
图16是本发明实施例提供的又一种特征值ID的管理装置的结构示意图;
图17是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了更清楚解释本发明的技术方案,如图2所示,图2是本发明实施例提供的一种特征值搜索系统的示意图,该特征值搜索系统100包括:服务器101、网络102、GPU(GraphicsProcessing Unit, 图形处理器) 103。其中,该服务器可以通过该网络与所述GPU进行通信。该网络可以是有线网络还可以是无线网络。无线可以是通过WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(Worldwide Interoperability for Microwave Access)连接、Zigbee连接、UWB( ultra wideband )连接、以及其他现在已知或将来开发的无线连接方式。
该用户可以基于该特征值搜索系统100获取长特征值ID(Identity document,身份证标识号);生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系;基于长特征值ID与短特征值ID之间的映射关系建立映射表;将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。这样可以合理的利用服务器的大内存储空间存储长特征值ID、短特征值ID、以及映射表,而GPU只需要存储短特征值ID,避免长特征值ID以及映射表占用GPU显存的存储空间,以释放GPU的存储空间。在GPU进行搜索工作时,GPU可以有足够的存储空间,进而可以提高GPU存储空间的利用率。且在服务器与GPU之间通过映射表可以双向查询到对应的长特征值ID或短特征值ID,同时仅仅将短特征值ID录入GPU,能够减少GPU中特征值ID的读写耗时,可以提高特征搜索的搜索效率。
应该理解,图2中的服务器101、网络102、GPU 103的数目仅仅是示意性的。根据实现需要,可以具有任意数目的服务器 101、网络102、GPU 103。
请参见图3,图3是本发明实施例提供的一种特征值ID的管理方法的流程图,如图3所示,包括以下步骤:
步骤201、获取长特征值ID。
其中,上述长特征值ID可以为搜索系统中结构化引擎生成的唯一的ID值,用于区分每个特征值,也可以说用于区分每个特征值存储的位置。该长特征值ID用于GPU(Graphics Processing Unit,图像处理器)硬件平台的搜索系统中。示例性的,若应用在人像搜索系统中,当抓拍到多个人像时,每个人像均对应有一个唯一的特征值,且每个特征值均对应有一个特征值ID,此时,特征值ID可以用于区分每个抓拍到的人像,为了满足不断增加的抓拍数量,一般都是用无符号长整型的数据类型存储(范围为:0~18446744073709551615)。应当理解的是,这个数据类型表示的数据范围已经远远超出单个GPU卡所能存储的特征值个数。此时,可以称这个无符号长整型的数据类型来存储的特征值ID为长特征值ID。当得到多个长特征值时,也对应得到与多个长特征值一一对应的多个长特征值ID。当然了,长特征值ID的长度可以根据实际的结构化引擎的生成长度有关。
具体的,当获取到结构化引擎生成的一组特征值ID时,即可得到一组长特征值ID。长特征值ID可以说是应用场景中用来表示特征值存储位置的最原始的特征值ID。需要说明的是,特征值的种类可以根据实际应用场景进行决定。比如,当应用场景为人像搜索系统时,特征值可以为人像对应的特征值,特征值ID也即为人像对应的特征值ID。当应用场景为商品搜索系统时,特征值可以为商品对应的特征值,特征值ID也即为商品对应的特征值ID。
步骤202、生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系。
其中,上述短特征值ID相对于长特征值ID长度较小,占用的存储空间也较小。上述长特征值ID与短特征值ID之间存在映射关系可以是指,长特征值ID与短特征值ID之间存在一一对应关系。在实际的搜索系统中,由于单个GPU卡存储的特征值个数是不会超过短特征值ID的取值范围,所以对于每个GPU卡,长特征值ID与短特征值ID存在一一对应关系。
具体的,当获得到一个长特征值ID时,可以为该长特征值ID配置一个唯一的短特征值ID。当然了,当长特征值ID的数量在不断累加时,也可以依次为每个长特征值ID配置对应的短特征值ID。且每个长特征值ID对应的短特征值ID均是唯一的,任意两个短特征值ID均是不同的。
更具体的,如图4所示,步骤202包括以下步骤:
步骤301、获取短特征值ID预存GPU卡的卡号,以得到第一码段。
步骤302、获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段。
步骤303、基于第一码段以及第二码段生成与长特征值ID对应的短特征值ID。
其中,上述预存GPU卡可以是指GPU硬件搜索系统中想要用于存储短特征值ID的GPU卡片。GPU卡的数量可以是多个,且每个GPU卡均设置有属于自己的卡号。其中,GPU卡号可以用符号、字母、数字等来表示。在本发明实施例中,主要以数字来进行表示,且GPU卡号占最高位1~3bits。预存GPU卡的选择可以根据实际需求进行灵活配置,当存在多个GPU卡时,也可以根据需要选择预存GPU卡为多个GPU卡中的任意一个。上述第一码段可以用码段1来表示,第一码段即表示短特征值以及短特征值ID所在当前GPU卡的卡号。
上述相对偏移值可以为相对于同一预存GPU卡上存储短特征值ID的第一位置对应的偏移值,比如,当存储第一个短特征值ID的位置对应的相对偏移值设置为0,那么当存储第二个短特征值ID的位置对应的相对偏移值则配置为1,类似的,当存储第三个短特征值ID的位置对应的相对偏移值则配置为2,以此类推,每次存储的短特征值ID有增加时,对应的相对偏移值也会在前一个相对偏移值的基础上加1,直到所有的短特征值ID存储完毕,或者直到同一GPU卡上的存储位置被存满,才会选择另一个GPU卡进行存储。上述第二码段可以用码段2来表示,且第二码段即表示为短特征值在当前卡上的相对偏移值(占低位31~29bits)。
每个短特征值ID均是由第一码段以及第二码段组合生成唯一的一个短特征值ID。当每个想要存储到服务器上的特征值都需要根据第一码段以及第二码段组合的形式生成对应唯一的短特征值ID。
具体的,如图5所示,每当得到一个长特征值ID时,均需要为该长特征值ID配置唯一的短特征值ID。当然了,首先先确定短特征值ID的第一码段(码段1,即短特征值ID需要存储的GPU卡的卡号),以及确定短特征值ID的第二码段,(码段2,即短特征值ID需要存储在该GPU卡上的相对偏移值),进而将第一码段以及第二码段组合形成该长特征值ID对应的唯一的短特征值ID。
示例性的,现有一个长特征值ID为38329686445632176478,需要将该长特征值ID对应的短特征值ID存储到GPU卡号为1上,那么短特征值ID的第一码段(码段1)则为001,如果该GPU卡1上已经存储了100个特征,那么该长特征值ID对应的短特征值ID的第二码段(码段2)则为101。此时,长特征值ID为38329686445632176478对应的短特征值ID则为001101。
若下一个长特征值ID为383296864456321733344,且也需要将这个长特征值ID对应的短特征值ID存储到GPU卡号为1上,此时短特征值ID的第一码段(码段1)也为001,因为已经存储了100个特征,再加上上次存储的特征,此时GPU卡上已经存储有101个特征了,此时的短特征值ID的第二码段(码段2)接着上个编号累加得到为102。最后得到长特征值ID为383296864456321733344对应的短特征值ID则为001102,以此类推,若后续还需要存储其他的长特征ID到服务器中,则根据相同的方法进行处理得到对应的短特征值ID。
步骤203、基于长特征值ID与短特征值ID之间的映射关系建立映射表。
其中,上述映射表用于记录长特征值ID与短特征值ID之间的映射关系。
具体的,如图6所示,步骤203包括以下步骤:
步骤401、基于长特征值ID与短特征值ID之间的一一对应关系将长特征值ID做为第一键值以及将短特征值ID做为第一目标值建立对应的第一映射表。
其中,上述第一键值可以称为第一key值,用于作为第一索引,便于通过第一键值最为索引搜索出对应的第一目标值。上述第一目标值可以称为第一value,用于作为第一输出结果。上述第一映射表可以用Map1来表示。
具体的,如图7所示,基于一种常用的哈希原理的关联容器,以长特征值ID为键值,以短特征值ID为目标值建立得到第一映射表,同时将短特征值以及长特征值ID保存到第二映射表的对应位置。这样,当接收到的是长特征值ID进行特征搜索时,可以通过长特征值ID找到对应的短特征值ID。在图7中,ID0、ID1、ID2、ID3、…、IDn表示为第一个长特征值ID到第n个长特征值ID。IDS0、IDS1、IDS2、IDS3、…、IDSn表示为第一个长特征值ID到第n个长特征值ID对应的第一个短特征值ID到第n个短特征值ID。其中,ID0、ID1、ID2、ID3、…、Idn与IDS0、IDS1、IDS2、IDS3、…、IDSn是一一对应的关系。当然了,还存在有对应于ID0、ID1、ID2、ID3、…、Idn的第一长特征值到第n个长特征值;还存在有对应于IDS0、IDS1、IDS2、IDS3、…、IDSn的第一短特征值到第n个短特征值。
和/或,步骤402、基于短特征值ID与长特征值ID之间的一一对应关系将短特征值ID做为第二键值以及将长特征值ID做为第二目标值建立对应的第二映射表。
其中,上述第二键值可以称为第二key值,用于作为第二索引,便于通过第二键值最为索引搜索出对应的第二目标值。上述第二目标值可以称为第二value,用于作为第二输出结果。上述第二映射表可以用Map2来表示。
具体的,如图8所示,基于一种常用的哈希原理的关联容器,以短特征值ID为键值,以长特征值ID为目标值建立得到第二映射表,同时将短特征值以及长特征值ID保存到第二映射表的对应位置。这样,当接收到的是短特征值ID进行特征搜索时,可以通过短特征值ID找到对应的长特征值ID。其中,图8中的ID0、ID1、ID2、ID3、…、IDn表示为第一个长特征值ID到第n个长特征值ID。IDS0、IDS1、IDS2、IDS3、…、IDSn表示为第一个长特征值ID到第n个长特征值ID对应的第一个短特征值ID到第n个短特征值ID。其中,ID0、ID1、ID2、ID3、…、Idn与IDS0、IDS1、IDS2、IDS3、…、IDSn是一一对应的关系。当然了,还存在有对应于ID0、ID1、ID2、ID3、…、Idn的第一长特征值到第n个长特征值;还存在有对应于IDS0、IDS1、IDS2、IDS3、…、IDSn的第一短特征值到第n个短特征值。
需要说明的是,当同时存在第一映射表以及第二映射表时,可以形成双映射表。无论是通过长特征值ID或是短特征值ID都可以查询到对应的短特征值ID或长特征值ID,进而可以双向查找,提高搜索系统的查询效率。
步骤204、将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。
其中,上述服务器用于存储长特征值ID、短特征值ID、以及存储根据长特征值ID、短特征值ID建立得到的映射表。且长特征值ID、短特征值ID、以及映射表均存储到服务器中的内存中。上述GPU只用于存储与长特征值ID对应的短特征值ID。短特征值ID主要存储到GPU的显存中。
具体的,每当获取到一长特征值ID均配置对应的短特征DI,并将长特征值ID以及短特征值ID保存到对应映射表中,并与映射表一同存储到服务器中。且还可以将生成的短特征值ID存储到对应的GPU的显存中。这样借助服务器的大内存,可以释放GPU显存的占用空间,减少GPU显存的利用率,进而提高搜索系统的查询效率。
示例性的,如图9所示,当映射表为两个时,可以将第一映射表以及第二映射表一同存储到服务器中,同时,保存长特征值ID与短特征值ID之间的映射关系。在图9中,ID0、ID1、ID2、ID3、…、IDn表示为第一个长特征值ID到第n个长特征值ID。IDS0、IDS1、IDS2、IDS3、…、IDSn表示为第一个长特征值ID到第n个长特征值ID对应的第一个短特征值ID到第n个短特征值ID。其中,ID0、ID1、ID2、ID3、…、Idn与IDS0、IDS1、IDS2、IDS3、…、IDSn是一一对应的关系。当然了,还存在有对应于ID0、ID1、ID2、ID3、…、Idn的第一长特征值到第n个长特征值;还存在有对应于IDS0、IDS1、IDS2、IDS3、…、IDSn的第一短特征值到第n个短特征值。需要说明的是短特征值ID的长度可以是32bits。
在本发明实施例中,通过获取长特征值ID;生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系;基于长特征值ID与短特征值ID之间的映射关系建立映射表;将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。这样可以合理的利用服务器的大内存储空间存储长特征值ID、短特征值ID、以及映射表,而GPU只需要存储短特征值ID,避免长特征值ID以及映射表占用GPU显存的存储空间,以释放GPU的存储空间。在GPU进行搜索工作时,GPU可以有足够的存储空间,进而可以提高GPU存储空间的利用率。且在服务器与GPU之间通过映射表可以双向查询到对应的长特征值ID或短特征值ID,同时仅仅将短特征值ID录入GPU,能够减少GPU中特征值ID的读写耗时,可以提高特征搜索的搜索效率。
如图10所示,图10是本发明实施例提供的另一种特征值ID的管理方法的流程图,该特征值ID的管理方法还包括以下步骤:
步骤501、接收搜索指令,搜索指令包括长特征值ID或短特征值ID。
步骤502、根据接收到的长特征值ID基于第一映射表查询到与长特征值ID对应的短特征值ID。
步骤503、将查询到的短特征值ID对应的图像返回给用户端。
具体的,当我们进行特征值相似度搜索时,GPU返回了一批搜索到的短特征值ID。然后根据图8中的短特征值ID到长特征值ID的映射Map2,快速的找到这些短特征值ID对应的长特征值ID,最终将这些原始的长特征值ID对应的图像返回给上层用户端,这样就可以根据用户的搜索指令搜索到对应图像。
或,步骤504、根据接收到的短特征值ID基于第二映射表查询到与短特征值ID对应的长特征值ID。
步骤505、将查询到的长特征值ID对应的图像返回给用户端。
具体的,当我们进行特征值相似度搜索时,GPU返回了一批搜索到的长特征值ID。然后根据图7中的长特征值ID到短特征值ID的映射Map1,快速的找到这些长特征值ID对应的短特征值ID,最终将这些短特征值ID对应的图像返回给上层用户端,这样就可以根据用户的搜索指令搜索到对应图像。
在本发明实施例中,可以通过长特征值ID快速查询到对应的短特征值ID,或者可以通过短特征值ID快速查询到对应的长特征值ID,进而可以提高特征搜索的搜索效率。
如图11所示,图11是本发明实施例提供的又一种特征值ID的管理方法的流程图,该特征值ID的管理方法还包括以下步骤:
步骤601、接收删除指令,删除指令包括长特征值以及对应的长特征值ID或短特征值以及对应的短特征值ID。
具体的,同一图像的长特征值和短特征值均可以是用来表示该图像的,唯一不同的是,长特征值的数据长度比短特征值的数据长度长,占用的空间比较大。现有的特征值一般都是存储在GPU显存中的,如果直接将长特征值存储在GPU显存中会占用GPU的更多的显存储空间。所以为了方便对特征值的存储,在长特征值的基础上获取到对应的短特征值,然后将长特征值、短特征值,长特征值与短特征值之间的对应关系均存储在服务器中,只要将短特征值存储在GPU显存中即可。这样在GPU硬件平台的搜索系统中,直接通过图像的短特征值就可以搜索到服务器中存储的长特征值,进而可以搜索到长特征值对应的图像。当然了,长特征值存在对应长特征值ID,短特征值存在对应的短特征值ID,在搜索时,可以和长特征值以及短特征值的搜索方式相同。这样在搜索时就不会占用GPU显存储空间,同时也不会影响GPU的运行速度,减少了GPU中的特征值ID的读写耗时。
当然了,在对特征值进行删除时,均需要删除服务器中存储的长特征值、长特征值ID、短特征值、短特征值ID以及他们的对应关系,同时还需要删除GPU中存储的短特征值以及短特征值ID以及他们的对应关系。
步骤602、根据长特征值ID以及第一映射表删除服务器中的长特征值以及对应的长特征值ID、短特征值以及对应的短特征值ID、以及第一映射表中长特征值ID与短特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
其中,服务器中还存储有与长特征值ID对应的长特征值、以及与短特征值ID对应的短特征值,GPU中还存储有与短特征值ID对应的短特征值。
具体的,当我们需要删除一批录入的特征值以及特征值ID时。我们首先根据下发下来的长特征值ID,从图7的长特征值ID到短特征值ID的映射Map1中,快速的找到对应的短特征值ID。然后将这些短特征值ID传入到GPU卡中,在GPU卡中删除这些短特征值ID以及短特征值ID的短特征值。最后也需要删除掉这批特征值ID的第一映射表(即在图7中的Map1映射关系)。还需要删除服务器中对应的长特征值、长特征值ID、短特征值、短特征值ID。
或,步骤603、根据短特征值ID以及第二映射表删除服务器中的短特征值以及短特征值ID、长特征值以及对应的长特征值ID、以及第二映射表中短特征值ID与长特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
具体的,当我们需要删除一批录入的特征值以及ID时。我们首先根据下发下来的短特征值ID,从图8的短特征值ID到长特征值ID的映射Map2中,快速的找到对应的长特征值ID。然后将这些短特征值ID传入到GPU卡中,在GPU卡中删除这些短特征值ID以及短特征值ID的短特征值。最后也需要删除掉这批特征值ID的第二映射表(即在图8中的Map2映射关系)。还需要删除服务器中对应的长特征值、长特征值ID、短特征值、短特征值ID。
在本发明实施例中,可以通过长特征值ID、短特征值ID之间的对应关系删除GPU中的短特征值ID以及短特征值ID的短特征值,同时删除服务器中的长特征值、长特征值ID、短特征值、短特征值ID以及第一映射表。或者通过短特征值ID与长特征值ID之间的对应关系删除GPU中的短特征值ID以及短特征值ID的短特征值,同时删除服务中的长特征值、长特征值ID、短特征值、短特征值ID以及第二映射表。这样便于提高GPU搜索系统中特征值以及特征值ID的增删改查性能。
参见图12,图12是本发明实施例提供的一种特征值ID的管理装置的结构示意图,该特征值ID的管理装置700包括:
获取模块701,用于获取长特征值ID;
生成模块702,用于生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系;
建立模块703,用于基于长特征值ID与短特征值ID之间的映射关系建立映射表;
存储模块704,用于将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。
可选的,如图13所示,在图12的基础上,生成模块702包括:
第一获取单元7021,用于获取短特征值ID预存GPU卡的卡号,以得到第一码段;
第二获取单元7022,用于获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
生成单元7023,用于基于第一码段以及第二码段生成与长特征值ID对应的短特征值ID。
可选的,长特征值ID与短特征值ID之间存在一一对应关系,映射表包括第一映射表和/或第二映射表;如图14所示,在图13的基础上,建立模块703包括:
第一建立单元7031,用于基于长特征值ID与短特征值ID之间的一一对应关系将长特征值ID做为第一键值以及将短特征值ID做为第一目标值建立对应的第一映射表;
和/或,第二建立单元7032,用于将短特征值ID与长特征值ID之间的一一对应关系将短特征值ID做为第二键值以及将长特征值ID做为第二目标值建立对应的第二映射表。
可选的,如图15所示,在图14的基础上,该特征值ID的管理装置700还包括以下步骤:
第一接收模块705,用于接收搜索指令,搜索指令包括长特征值ID或短特征值ID;
第一查询模块706,用于根据接收到的长特征值ID基于第一映射表查询到与长特征值ID对应的短特征值ID;
第一返回模块707,用于将查询到的短特征值ID对应的图像返回给用户端;
或,第二查询模块708,根据接收到的短特征值ID基于第二映射表查询到与短特征值ID对应的长特征值ID;
第二返回模块709,用于将查询到的长特征值ID对应的图像返回给用户端。
可选的,服务器中还存储有与长特征值ID对应的长特征值、以及与短特征值ID对应的短特征值,GPU中还存储有与短特征值ID对应的短特征值;如图16所示,在图15的基础上,该特征值ID的管理装置700还包括:
第二接收模块710,用于接收删除指令,删除指令包括长特征值以及对应的长特征值ID或短特征值以及对应的短特征值ID;
第一删除模块711,用于根据长特征值ID以及第一映射表删除服务器中的长特征值以及对应的长特征值ID、短特征值以及短特征值ID、以及第一映射表中长特征值ID与短特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID;
或,第二删除模块712,用于根据短特征值ID以及第二映射表删除服务器中的短特征值以及短特征值ID、长特征值以及对应的长特征值ID、以及第二映射表中短特征值ID与长特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
本发明实施例提供的特征值ID的管理装置700能够实现上述方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
参见图17,图17是本发明实施例提供的一种电子设备的结构示意图,该电子设备800包括:存储器802、处理器801及存储在存储器802上并可在处理器801上运行的计算机程序,处理器801执行计算机程序时实现上述实施例提供的特征值ID的管理方法中的步骤,处理器801执行以下步骤:
获取长特征值ID;
生成与长特征值ID对应的短特征值ID,长特征值ID与短特征值ID之间存在映射关系;
基于长特征值ID与短特征值ID之间的映射关系建立映射表;
将长特征值ID、短特征值ID以及映射表存储到服务器中,且将短特征值ID存储到GPU中。
可选的,处理器801执行的生成与长特征值ID对应的短特征值ID的步骤包括:
获取短特征值ID预存GPU卡的卡号,以得到第一码段;
获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
基于第一码段以及第二码段生成与长特征值ID对应的短特征值ID。
可选的,处理器801执行的长特征值ID与短特征值ID之间存在一一对应关系,映射表包括第一映射表和/或第二映射表;基于长特征值ID与短特征值ID之间的映射关系建立映射表的步骤包括:
基于长特征值ID与短特征值ID之间的一一对应关系将长特征值ID做为第一键值以及将短特征值ID做为第一目标值建立对应的第一映射表;
和/或,将短特征值ID与长特征值ID之间的一一对应关系将短特征值ID做为第二键值以及将长特征值ID做为第二目标值建立对应的第二映射表。
可选的,处理器801还执行以下步骤:
接收搜索指令,搜索指令包括长特征值ID或短特征值ID;
根据接收到的长特征值ID基于第一映射表查询到与长特征值ID对应的短特征值ID;
将查询到的短特征值ID对应的图像返回给用户端;
或,根据接收到的短特征值ID基于第二映射表查询到与短特征值ID对应的长特征值ID;
将查询到的长特征值ID对应的图像返回给用户端。
可选的,服务器中还存储有与长特征值ID对应的长特征值、以及与短特征值ID对应的短特征值,GPU中还存储有与短特征值ID对应的短特征值;处理器801还执行以下步骤:
接收删除指令,删除指令包括长特征值以及对应的长特征值ID或短特征值以及对应的短特征值ID;
根据长特征值ID以及第一映射表删除服务器中的长特征值以及对应的长特征值ID、短特征值以及短特征值ID、以及第一映射表中长特征值ID与短特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID;
或,根据短特征值ID以及第二映射表删除服务器中的短特征值以及短特征值ID、长特征值以及对应的长特征值ID、以及第二映射表中短特征值ID与长特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
本发明实施例提供的电子设备800能够实现上述方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的特征值ID的管理方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (8)

1.一种特征值ID的管理方法,其特征在于,所述方法包括以下步骤:
获取长特征值ID;
生成与所述长特征值ID对应的短特征值ID,所述长特征值ID与短特征值ID之间存在映射关系;
基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表;
将所述长特征值ID、短特征值ID以及所述映射表存储到服务器中,且将所述短特征值ID存储到GPU中;
所述生成与所述长特征值ID对应的短特征值ID的步骤包括:
获取短特征值ID预存GPU卡的卡号,以得到第一码段;
获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
基于所述第一码段以及第二码段生成与所述长特征值ID对应的短特征值ID。
2.如权利要求1所述的特征值ID的管理方法,其特征在于,所述长特征值ID与所述短特征值ID之间存在一一对应关系,所述映射表包括第一映射表和/或第二映射表;所述基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表的步骤包括:
基于所述长特征值ID与所述短特征值ID之间的一一对应关系将所述长特征值ID做为第一键值以及将所述短特征值ID做为第一目标值建立对应的第一映射表;
和/或,基于所述短特征值ID与所述长特征值ID之间的一一对应关系将所述短特征值ID做为第二键值以及将所述长特征值ID做为第二目标值建立对应的第二映射表。
3.如权利要求2所述的特征值ID的管理方法,其特征在于,所述方法还包括以下步骤:
接收搜索指令,所述搜索指令包括长特征值ID或短特征值ID;
根据接收到的长特征值ID基于所述第一映射表查询到与所述长特征值ID对应的短特征值ID;
将查询到的短特征值ID对应的图像返回给用户端
或,根据接收到的短特征值ID基于所述第二映射表查询到与所述短特征值ID对应的长特征值ID;
将查询到的长特征值ID对应的图像返回给用户端。
4.如权利要求2所述的特征值ID的管理方法,其特征在于,所述服务器中还存储有与所述长特征值ID对应的长特征值、以及与所述短特征值ID对应的短特征值,所述GPU中还存储有与所述短特征值ID对应的短特征值;所述方法还包括以下步骤:
接收删除指令,所述删除指令包括长特征值以及对应的长特征值ID或短特征值以及对应的短特征值ID;
根据所述长特征值ID以及第一映射表删除所述服务器中的长特征值以及对应的长特征值ID、短特征值以及对应的短特征值ID、以及第一映射表中长特征值ID与短特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID;
或,根据所述短特征值ID以及第二映射表删除所述服务器中的短特征值以及短特征值ID、长特征值以及对应的长特征值ID、以及第二映射表中短特征值ID与长特征值ID之间的对应关系,且删除GPU中存储的短特征值以及对应的短特征值ID。
5.一种特征值ID的管理装置,其特征在于,所述装置包括:
获取模块,用于获取长特征值ID;
生成模块,用于生成与所述长特征值ID对应的短特征值ID,所述长特征值ID与短特征值ID之间存在映射关系;
建立模块,用于基于所述长特征值ID与所述短特征值ID之间的映射关系建立映射表;
存储模块,用于将所述长特征值ID、短特征值ID以及所述映射表存储到服务器中,且将所述短特征值ID存储到GPU中;
所述生成模块包括:
第一获取单元,用于获取短特征值ID预存GPU卡的卡号,以得到第一码段;
第二获取单元,用于获取短特征值ID预存GPU卡上的相对偏移值,以得到第二码段;
生成单元,用于基于所述第一码段以及第二码段生成与所述长特征值ID对应的短特征值ID。
6.如权利要求5所述的特征值ID的管理装置,其特征在于,所述长特征值ID与所述短特征值ID之间存在一一对应关系,所述映射表包括第一映射表和/或第二映射表;所述建立模块包括:
第一建立单元,用于基于所述长特征值ID与所述短特征值ID之间的一一对应关系将所述长特征值ID做为第一键值以及将所述短特征值ID做为第一目标值建立对应的第一映射表;
和/或,第二建立单元,用于基于所述短特征值ID与所述长特征值ID之间的一一对应关系将所述短特征值ID做为第二键值以及将所述长特征值ID做为第二目标值建立对应的第二映射表。
7.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的特征值ID的管理方法中的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的特征值ID的管理方法中的步骤。
CN202011345054.3A 2020-11-26 2020-11-26 一种特征值id的管理方法、装置、电子设备及存储介质 Active CN112307035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011345054.3A CN112307035B (zh) 2020-11-26 2020-11-26 一种特征值id的管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011345054.3A CN112307035B (zh) 2020-11-26 2020-11-26 一种特征值id的管理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112307035A CN112307035A (zh) 2021-02-02
CN112307035B true CN112307035B (zh) 2024-01-05

Family

ID=74487759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011345054.3A Active CN112307035B (zh) 2020-11-26 2020-11-26 一种特征值id的管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112307035B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936160A (zh) * 2014-03-21 2015-09-23 诺基亚技术有限公司 用于设备到设备广播通信的短标识符的方法和装置
WO2017101643A1 (zh) * 2015-12-16 2017-06-22 北京奇虎科技有限公司 图像存储方法和设备
CN107784001A (zh) * 2016-08-26 2018-03-09 北京计算机技术及应用研究所 基于cuda的并行空间查询方法
CN108470053A (zh) * 2018-03-14 2018-08-31 北京思特奇信息技术股份有限公司 一种字符串压缩方法及装置
CN110349273A (zh) * 2018-04-05 2019-10-18 想象技术有限公司 访问图元数据
CN110362846A (zh) * 2018-04-05 2019-10-22 想象技术有限公司 硬件曲面细分单元
CN111026680A (zh) * 2018-10-09 2020-04-17 Arm有限公司 将第一标识符映射到第二标识符
CN111125417A (zh) * 2019-12-30 2020-05-08 深圳云天励飞技术有限公司 一种数据搜索方法、装置、电子设备及存储介质
CN111190893A (zh) * 2018-11-15 2020-05-22 华为技术有限公司 建立特征索引的方法和装置
WO2020098110A1 (zh) * 2018-11-12 2020-05-22 深圳云天励飞技术有限公司 图像特征值的搜索方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11031092B2 (en) * 2017-11-01 2021-06-08 International Business Machines Corporation Taxonomic annotation of variable length metagenomic patterns
CN110227259B (zh) * 2018-03-06 2022-04-29 华为技术有限公司 一种数据处理的方法、装置、服务器和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936160A (zh) * 2014-03-21 2015-09-23 诺基亚技术有限公司 用于设备到设备广播通信的短标识符的方法和装置
WO2017101643A1 (zh) * 2015-12-16 2017-06-22 北京奇虎科技有限公司 图像存储方法和设备
CN107784001A (zh) * 2016-08-26 2018-03-09 北京计算机技术及应用研究所 基于cuda的并行空间查询方法
CN108470053A (zh) * 2018-03-14 2018-08-31 北京思特奇信息技术股份有限公司 一种字符串压缩方法及装置
CN110349273A (zh) * 2018-04-05 2019-10-18 想象技术有限公司 访问图元数据
CN110362846A (zh) * 2018-04-05 2019-10-22 想象技术有限公司 硬件曲面细分单元
CN111026680A (zh) * 2018-10-09 2020-04-17 Arm有限公司 将第一标识符映射到第二标识符
WO2020098110A1 (zh) * 2018-11-12 2020-05-22 深圳云天励飞技术有限公司 图像特征值的搜索方法、装置、电子设备及存储介质
CN111190893A (zh) * 2018-11-15 2020-05-22 华为技术有限公司 建立特征索引的方法和装置
CN111125417A (zh) * 2019-12-30 2020-05-08 深圳云天励飞技术有限公司 一种数据搜索方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112307035A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN109299110B (zh) 数据查询方法、装置、存储介质和电子设备
WO2018032721A1 (zh) 一种基于缩略图的图像分享方法和终端
CN105243060A (zh) 一种检索图片的方法及装置
US9413728B2 (en) Identifying content from an encrypted communication
CN106919634B (zh) 跨应用共享数据的方法及网页浏览器
CN111611225A (zh) 数据存储管理方法、查询方法、装置、电子设备及介质
CN109766318B (zh) 文件读取方法及装置
CN108804234B (zh) 数据存储系统及其操作方法
CN104679830A (zh) 一种文件处理方法和装置
CN110399348A (zh) 文件重删方法、装置、系统及计算机可读存储介质
CN109460404A (zh) 一种基于redis的高效Hbase分页查询方法
CN109150962B (zh) 一种通过关键字快速识别http请求头的方法
CN105005567A (zh) 兴趣点查询方法和系统
CN102073733A (zh) 哈希表管理方法及装置
CN112307035B (zh) 一种特征值id的管理方法、装置、电子设备及存储介质
US20170262368A1 (en) Linked-list-based method and device for application caching management
US20160034497A1 (en) Information processing system, information processing method, and information processing apparatus
CN106250440B (zh) 文档管理方法和装置
JP6233846B2 (ja) 可変長ノンスの生成
CN106446080B (zh) 数据查询的方法、查询服务设备、客户端设备和数据系统
CN104866818A (zh) 一种用于搜索包含人脸的图片的方法和装置
CN107977381B (zh) 数据配置方法、索引管理方法、相关装置以及计算设备
CN113051264B (zh) 数据存储及查询方法、装置、电子设备及存储介质
CN112231398A (zh) 数据存储方法、装置、设备及存储介质
CN111309725A (zh) 一种基于哈希算法的电力设备数据存取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant