CN114077690A - 向量数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种向量数据处理方法、装置、设备及存储介质。该方法包括：确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。上述方案能够是随机存取存储器满足对向量数据簇和特征分类索引的存储要求，并且使随机存取存储器能够有效地发挥优势，根据存储的数据实现快速高效地运行。

Description

向量数据处理方法、装置、设备及存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种向量数据处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展和落地，越来越多不易描述的数据被通过以特征向量数据的方式进行描述和计算，比如文本、声音、外貌等等，当这些海量的特征数据汇聚在一起时，如何快速准确的找到相同或者相似的数据成为了亟待解决的问题。

目前，将所有数据存储在RAM中的方案，检索速度较快，但是RAM的单位存储成本远高于ROM，且受制于内存通道和单内存最大容量的限制，最大存储容量受限。而且，RAM存储的同时还需要等量空间的ROM做持久化存储，占用双倍的存储空间。将所有数据存储于ROM中的方案，数据从ROM加载到RAM的过程非常耗时，尤其是当数据量很大的时候，这个问题会越来越凸显。以512维的向量为例，1000万的512维向量需要4*512*1000*10000＝20GB左右存储空间，以当前7200转硬盘的理论读写速度190MB/s来计算，需要105秒左右，以SSD硬盘的速度500MB/s来计算，也需要40秒，耗时较长。

发明内容

本发明实施例提供一种向量数据处理方法、装置、设备及存储介质，以在满足大量向量数据存储的同时实现快速检索。

在一个实施例中，本申请实施例提供了一种向量数据处理方法，该方法包括：

确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

在另一个实施例中，本申请实施例还提供了一种向量数据处理装置，该装置包括：

占用空间确定模块，用于确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

目标向量数据簇选取模块，用于若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

转移模块，用于若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

在又一个实施例中，本申请实施例还提供了一种向量数据处理设备，包括：一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例任一项所述的向量数据处理方法。

在再一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一项所述的向量数据处理方法。

本申请实施例中，通过确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间，从而及时确定随机存取存储器中的存储状态。通过所述占用空间达到随机存取存储器的预设容量阈值时，从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值，若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中，从而使随机存取存储器的空间满足其他处理业务的同时，保留存储部分向量数据簇和特征分类索引，以便在接收到向量数据检索请求时优先根据保留存储的数据进行检索，提高检索效率。

附图说明

图1为本发明一种实施例提供的向量数据处理方法的流程图；

图2为本发明一种实施例提供的向量数据处理模块结构图；

图3为本发明另一实施例提供的向量数据处理方法的流程图；

图4为本发明一种实施例提供的向量数据处理装置的结构示意图；

图5为本发明一种实施例提供的向量数据处理设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明一种实施例提供的向量数据处理方法的流程图。本实施例提供的向量数据处理方法可适用于对向量数据进行处理的情况。典型的，本方法可以适用于对向量数据进行接入存储、建立索引以及检索的情况。该方法具体可以由向量数据处理装置执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在向量数据处理设备中。参见图1，本申请实施例的方法具体包括：

S110、确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间。

其中，向量数据簇和特征分类索引由计算节点建立。具体的，如图2所示，Master节点为主节点，负责管理其他节点，以及对外提供数据服务。由数据接入层接收新增向量数据，并根据计算节点的数量以负载均衡原则向各计算节点发送。计算节点接收到新增向量后先进行缓存，缓存空间是相对较小的，根据随机存取存储器配置可以调整缓存空间大小，有益效果在于，新增向量数据开始接入时数量较少，尚未形成一定规模，无法满足高准确率模型训练的要求，因此先将接入的数据缓存。计算节点在检测到自身接入的新增向量数据达到预设数量时，向主节点发送新增向量数据的数量信息，主节点根据各计算节点发送的数量信息计算全部计算节点当前新增向量数据的平均数量，如果平均数量达到预设平均数量，则从新增向量中抽取训练样本向训练节点发送，由训练节点对分类器进行训练得到目标分类器，并将目标分类器持久化存储于存储空间中。计算节点加载目标分类器，采用目标分类器对向量数据根据向量特征的相似性进行分类，并根据分类结果建立特征分类索引，存储于随机存取存储器中。

由于随机存取存储器的容量有限，并且可能还需要继续处理其他业务，或者继续存储向量数据簇和特征分类索引，因此需要实时掌握随机存取存储器中存储的向量数据簇和特征分类索引的占用空间，以有效监控随机存取存储器的剩余容量，保证随机存取存储器能够进行正常的业务处理。

S120、若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值。

示例性的，可以根据实际情况，从向量数据簇中选取预设数量的目标向量数据簇，以在随机存取存储器无法继续存储时，将目标向量数据簇转移至只读存储器中。例如可以选取存储时间比较早的向量数据簇作为目标向量数据簇，也可以随机选取或者按顺序选取，在此不作限定。预设数量的目标向量数据簇占用空间小于预设容量阈值，即只选取部分目标向量数据簇，而其他的向量数据簇仍保留存储于随机存取存储中，从而使随机存取存储器能够满足继续存储的需求，并且保证存储有足量的数据，以在接收到向量检索请求时，优先根据随机存取存储器中存储的数据进行检索，提高检索效率。

S130、若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

示例性的，转移触发事件可以为当随机存取存储器需要占用内存执行其他任务而当前内存不够用时产生的，例如需要继续存储向量数据簇和特征分类索引时产生的。目标向量数据簇的转移触发事件包括新向量数据簇和新特征分类索引的存储事件。

当所述占用空间达到随机存取存储器的预设容量阈值时，如果不需要占用内存处理其他任务，则不需要对目标向量数据簇进行转移。如果检测到目标向量数据簇的转移触发事件，例如需要占用内存空间存储新的向量数据簇和特征分类索引时，则需要将目标向量数据转移至只读存储器中，可以以文件的形式存储，也可以以数据库的形式存储。其中，特征分类索引的存储结构可以包括目标分类索引标识和/或目标特征分类索引的分类标识，如表1所示。向量数据簇的存储结构可以包括所述目标向量数据簇对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，如表2所示。

表1

表2

其中，数据库存储方式天然支持数据的按条件过滤加载，同时对常用搜索过滤条件还可以进一步增加索引，能够提升检索速度。采用文件形式存储，可以将不同索引类型的数据写到不同的文件中，将同一索引但属于不同分类的数据，也写到不同的文件中，文件名可以用“索引标识_分类编号”命名。同一索引且相同分类的数据可以写到同一个文件中。有益效果在于，在进行搜索时，先通过索引结构找到需要搜索的分类，会只加载需要搜索的分类中的数据，而无需加载不需要搜索的分类中的数据。例如，目前的存储方式是将一个索引对应存储为一个文件，当需要加载数据时需要加载整个索引对应的向量数据。而本申请实施例中针对同一个索引中的不同分类，存储为不同的文件，在进行向量数据加载时，只需要加载与待检索向量相关的部分分类对应的向量数据，而不需要加载整个索引对应的向量数据。

上述方案的有益效果在于，相比于将随机存取存储器中的所有向量数据簇转移至只读存储器中，上述方案使随机存取存储器既能满足新的向量数据簇存储的需求，又能够保留存储足量的向量数据簇和特征分类索引，以在接收到向量检索请求时能够进行快速高效检索，提高检索效率。并且在根据随机存取存储器中存储的向量数据簇和特征分类索引无法检索得到待检索向量时，只需从只读存储器中加载部分向量数据簇和特征分类索引，而不需要耗费大量的时间将全量数据都加载到随机存取存储器，从而提高了处理效率。

在本申请实施例中，所述方法还包括：若所述占用空间达到随机存取存储器的预设容量阈值，则确定目标向量数据簇对应的目标特征分类索引；若检测到目标向量数据簇的转移触发事件，将所述目标特征分类索引备份至只读存储器中。

示例性的，计算节点建立特征分类索引后存储于内存中，以在接收到向量检索请求时能够快速高效地根据特征分类索引进行向量检索。可以在将目标向量数据簇转移至只读存储器中的同时，将对应的目标特征分类索引备份至只读存储器中，以实现持久化存储。

本申请实施例中，通过确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间，从而及时确定随机存取存储器中的存储状态。通过所述占用空间达到随机存取存储器的预设容量阈值时，从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值，若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中，从而使随机存取存储器的空间满足其他处理业务的同时，保留存储部分向量数据簇和特征分类索引，以便在接收到向量数据检索请求时优先根据保留存储的数据进行检索，提高检索效率。

图3为本发明另一实施例提供的向量数据处理方法的流程图。本申请实施例为对上述实施例基础上对上述实施例进行优化，未在本实施例中详细描述的细节详见上述实施例。参见图3，本实施例提供的向量数据处理方法可以包括：

S210、确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间。

S220、若所述占用空间达到随机存取存储器的预设容量阈值，则根据所述向量数据簇的存储时间，从向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值。

示例性的，可以选取存储时间比较早的向量数据簇作为目标向量数据簇。有益效果在于，存储时间比较早的向量数据簇可能目前被用到的可能性较小，将此类向量数据簇转移至只读存储器中持久化存储，可以空出随机存取存储器中的空间，用以保存新接入的数据，以满足当前的向量检索需求，提高检索效率。

S230、若检测到目标向量数据簇的转移触发事件，根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，对所述目标向量数据簇进行分组。

示例性的，可以根据目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识相似的原则，对所述目标向量数据簇进行分组，从而使同一组的目标向量数据簇存在一定的关联性，便于快速检索和加载相关的目标向量数据簇。

在本申请实施例中，根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，对所述目标向量数据簇进行分组，包括：根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，确定所述目标向量数据簇的相似度；将所述相似度大于预设相似度阈值的目标向量数据簇分为同一组。

示例性的，目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识的相似度越大，则说明目标向量数据簇越接近，因此，将相似度大于预设相似度阈值的目标向量数据簇分为同一组，从而在检索和加载时能够就近快速地找到相似的目标向量数据簇，提高检索和加载的效率。

S240、将同一组中的目标向量数据簇在只读存储器中进行连续存储。

具体的，将同一组中的目标向量数据簇在只读存储器中进行连续存储，从而便于在进行检索时，能够就近检索相似的目标向量数据簇，加快检索和加载的速度。

S250、若接收到对待检索向量的检索请求，则根据所述特征分类索引，确定所述随机存取存储器中是否存在满足检索条件的目标向量。

示例性的，由于随机存取存储器中存储有一定量的向量数据簇和特征分类索引，因此，可以优先根据随机存取存储器中存储的数据进行检索，以提高检索效率。

S260、若不存在，则根据所述特征分类索引，确定所述只读存储器中是否存在满足检索条件的目标向量。

如果根据随机存取存储器中存储的特征分类索引确定，向量数据簇中不存在满足检索条件的目标向量，则于只读存储器中根据特征分类索引进行检索。

根据所述特征分类索引，确定所述只读存储器中是否存在满足检索条件的目标向量，包括：根据所述待检索向量，确定待加载的特征分类索引；根据所述特征分类索引，从只读存储器中加载对应的目标向量数据簇；将满足检索条件的目标向量数据簇中的向量数据与待检索向量进行匹配，确定目标向量。

示例性的，根据待检索向量，与特征分类索引的比对，确定该待检索向量可能所属的向量数据簇分类。根据所述的向量数据簇分类，确定需要从只读存储器中加载的目标向量数据簇，从而将其从只读存储器中加载至内存中。遍历加载至内存中的目标向量数据簇中的向量数据，与待检索向量进行匹配，确定目标向量。

上述方案的有益效果在于，无需加载无用的目标向量数据簇，减少了目标向量数据簇加载数据量和比对数据量，并且加载和比对过程可以并行执行。

本申请实施例的技术方案，通过将存储时间较早的向量数据簇转移至只读存储器中持久化存储，可以空出随机存取存储器中的空间，用以保存新接入的数据，以满足当前的向量检索需求，提高检索效率。通过相似的目标向量数据簇分为一组，将同一组中的目标向量数据簇在只读存储器中进行连续存储，从而便于在进行检索时，能够就近检索相似的目标向量数据簇，加速检索和加载的速度。

图4为本发明一种实施例提供的向量数据处理装置的结构示意图。该装置可适用于确定调查目标人员的情况。典型的，本方法可适用于对向量数据进行处理的情况。典型的，本方法可以适用于对向量数据进行接入存储、建立索引以及检索的情况。该装置可以由软件和/或硬件的方式实现，该装置可以集成在向量数据处理设备中。参见图4，该装置具体包括：

占用空间确定模块310，用于确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

目标向量数据簇选取模块320，用于若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

转移模块330，用于若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

在本申请实施例中，所述目标向量数据簇的转移触发事件包括新向量数据簇和新特征分类索引的存储事件。

在本申请实施例中，所述装置还包括：

目标索引确定模块，用于若所述占用空间达到随机存取存储器的预设容量阈值，则确定目标向量数据簇对应的目标特征分类索引；

备份模块，用于将所述目标特征分类索引备份至只读存储器中。

在本申请实施例中，所述目标向量数据簇选取模块320，包括：

存储时间确定单元，用于根据所述向量数据簇的存储时间，从向量数据簇中选取预设数量的目标向量数据簇。

在本申请实施例中，所述转移模块330，包括：

分组单元，用于根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，对所述目标向量数据簇进行分组；

存储单元，用于将同一组中的目标向量数据簇在只读存储器中进行连续存储。

在本申请实施例中，所述分组单元，包括：

相似度确定子单元，用于根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，确定所述目标向量数据簇的相似度；

相似度分组子单元，用于将所述相似度大于预设相似度阈值的目标向量数据簇分为同一组。

在本申请实施例中，所述装置还包括：

随机存取存储器检索模块，用于若接收到对待检索向量的检索请求，则根据所述特征分类索引，确定所述随机存取存储器中是否存在满足检索条件的目标向量；

只读存储器检索模块，用于若不存在，则根据所述特征分类索引，确定所述只读存储器中是否存在满足检索条件的目标向量。

在本申请实施例中，所述只读存储器检索模块，包括：

特征分类索引确定单元，用于

根据所述待检索向量，确定待加载的特征分类索引；

加载单元，用于

根据所述特征分类索引，从只读存储器中加载对应的目标向量数据簇；

目标向量确定单元，用于将满足检索条件的目标向量数据簇中的向量数据与待检索向量进行匹配，确定目标向量。

本申请实施例所提供的向量数据处理装置可执行本申请任意实施例所提供的向量数据处理方法，具备执行方法相应的功能模块和有益效果。

图5为本发明一种实施例提供的向量数据处理设备的结构示意图。图5示出了适于用来实现本申请实施例的示例性向量数据处理设备412的框图。图5显示的向量数据处理设备412仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，向量数据处理设备412可以包括：一个或多个处理器416；存储器428，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器416执行，使得所述一个或多个处理器416实现本申请实施例所提供的向量数据处理方法，包括：

确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

向量数据处理设备412的组件可以包括但不限于：一个或者多个处理器或者处理器416，存储器428，连接不同设备组件(包括存储器428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

向量数据处理设备412典型地包括多种计算机设备可读存储介质。这些存储介质可以是任何能够被向量数据处理设备412访问的可用存储介质，包括易失性和非易失性存储介质，可移动的和不可移动的存储介质。

存储器428可以包括易失性存储器形式的计算机设备可读存储介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。向量数据处理设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机设备存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁存储介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据存储介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作设备、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

向量数据处理设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该向量数据处理设备412交互的设备通信，和/或与使得该向量数据处理设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，向量数据处理设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器420通过总线418与向量数据处理设备412的其它模块通信。应当明白，尽管图5中未示出，可以结合向量数据处理设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID设备、磁带驱动器以及数据备份存储设备等。

处理器416通过运行存储在存储器428中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种向量数据处理方法。

本发明一种实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行向量数据处理方法，包括：

确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的设备、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形存储介质，该程序可以被指令执行设备、装置或者器件使用或者与其结合使用。

计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行设备、装置或者器件使用或者与其结合使用的程序。

计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种向量数据处理方法，其特征在于，所述方法包括：

确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

2.根据权利要求1所述的方法，其特征在于，所述目标向量数据簇的转移触发事件包括新向量数据簇和新特征分类索引的存储事件。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述占用空间达到随机存取存储器的预设容量阈值，则确定目标向量数据簇对应的目标特征分类索引；

若检测到目标向量数据簇的转移触发事件，则将所述目标特征分类索引备份至只读存储器中。

4.根据权利要求1所述的方法，其特征在于，从所述向量数据簇中选取目标向量数据簇，包括：

根据所述向量数据簇的存储时间，从向量数据簇中选取预设数量的目标向量数据簇。

5.根据权利要求1所述的方法，其特征在于，所述特征分类索引的存储结构包括目标分类索引标识和/或目标特征分类索引的分类标识；所述目标向量数据簇的存储结构包括所述目标向量数据簇对应的目标特征分类索引标识和/或目标特征分类索中的分类标识；

相应地，将所述目标向量数据簇转移至只读存储器中，包括：

根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，对所述目标向量数据簇进行分组；

将同一组中的目标向量数据簇在只读存储器中进行连续存储。

6.根据权利要求5所述的方法，其特征在于，根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，对所述目标向量数据簇进行分组，包括：

根据所述目标向量数据簇所对应的目标特征分类索引标识和/或目标特征分类索中的分类标识，确定所述目标向量数据簇的相似度；

将所述相似度大于预设相似度阈值的目标向量数据簇分为同一组。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若接收到对待检索向量的检索请求，则根据所述特征分类索引，确定所述随机存取存储器中是否存在满足检索条件的目标向量；

若不存在，则根据所述特征分类索引，确定所述只读存储器中是否存在满足检索条件的目标向量。

8.根据权利要求7所述的方法，其特征在于，根据所述特征分类索引，确定所述只读存储器中是否存在满足检索条件的目标向量，包括：

根据所述待检索向量，确定待加载的特征分类索引；

根据所述特征分类索引，从只读存储器中加载对应的目标向量数据簇；

将满足检索条件的目标向量数据簇中的向量数据与待检索向量进行匹配，确定目标向量。

9.一种向量数据处理装置，其特征在于，所述装置包括：

占用空间确定模块，用于确定随机存取存储器中存储的向量数据簇和特征分类索引的占用空间；

目标向量数据簇选取模块，用于若所述占用空间达到随机存取存储器的预设容量阈值，则从所述向量数据簇中选取预设数量的目标向量数据簇；其中，预设数量的目标向量数据簇占用空间小于所述预设容量阈值；

转移模块，用于若检测到目标向量数据簇的转移触发事件，则将所述目标向量数据簇转移至只读存储器中。

10.一种向量数据处理设备，其特征在于，所述向量数据处理设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的向量数据处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的向量数据处理方法。

Images