CN108052535B - 基于多处理器平台的视觉特征并行快速匹配方法和系统 - Google Patents

基于多处理器平台的视觉特征并行快速匹配方法和系统 Download PDF

Info

Publication number
CN108052535B
CN108052535B CN201711132235.6A CN201711132235A CN108052535B CN 108052535 B CN108052535 B CN 108052535B CN 201711132235 A CN201711132235 A CN 201711132235A CN 108052535 B CN108052535 B CN 108052535B
Authority
CN
China
Prior art keywords
clustering
query
data
processor
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711132235.6A
Other languages
English (en)
Other versions
CN108052535A (zh
Inventor
张冬明
云晓春
靳国庆
包秀国
袁庆升
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
National Computer Network and Information Security Management Center
Original Assignee
Institute of Computing Technology of CAS
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS, National Computer Network and Information Security Management Center filed Critical Institute of Computing Technology of CAS
Priority to CN201711132235.6A priority Critical patent/CN108052535B/zh
Publication of CN108052535A publication Critical patent/CN108052535A/zh
Application granted granted Critical
Publication of CN108052535B publication Critical patent/CN108052535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters

Abstract

本发明涉及一种基于多处理器平台的视觉特征并行快速匹配方法和系统，包括：根据层次聚类算法对包含视觉特征的数据集进行层次聚类以获得聚类树，并根据聚类阈值确定该聚类树中各类别的聚类中心；根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；根据用户输入的查询数据与各聚类中心的距离，选择多个聚类中心所对应的哈希表作为待查表项；在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选得到查询结果。由此本发明可显著地提高查询效率，应对千万规模的数据检索。

Description

基于多处理器平台的视觉特征并行快速匹配方法和系统
技术领域
本发明涉及基于内容的大规模图像检索技术领域，特别涉及一种基于多处理器平台的视觉特征并行快速匹配方法和系统。
背景技术
随着互联网的发展，网络上图片数据越来越多。如何从海量的图片数据集中快速准确地找出与给定图片相似的图片集合，已成为一个具有广阔应用背景同时又具有挑战性的问题。
对于小规模的图片检索任务，在现有硬件条件下，通过暴力搜索来查询数据的K近邻数据，是可行的解决方案。但是当数据规模达到千万级别时，暴力搜索方法不论在时间上还是在空间上，都面临诸多挑战。
针对上述问题，研究人员提出基于散列函数的局部敏感哈希(LocalitySensitive Hashing)算法。该算法使用一组局部敏感的散列函数簇，将原始数据散列，生成二进制串，进而构建对应不同散列函数的哈希表。该算法能够保证原始数据空间中距离相近的数据，在海明空间中以较大的概率仍处于近邻位置。
局部敏感哈希算法将数据相似度计算从复杂的欧式空间转换到可快速计算的海明空间。通过计算数据散列之后的二进制串之间的海明距离，来查找相似的数据，能够显著地减少查询时间，提高查找效率。
但是当数据规模达到千万级别时，局部敏感哈希算法会出现数据聚集在同一个哈希桶里，导致候选点数目增加，匹配速度下降。虽然通过增加哈希桶的数量来解决查找速度变慢的问题。但是随着哈希桶数量的增加，相似的数据散列到不同哈希桶里的概率随之增加，使得查询召回率下降。为此需要引入多组哈希核函数，构建多个哈希表，并汇总多个哈希表的查询结果，以保证查询的精度，但是多组哈希表的内存开销是线性增加的。
针对上述问题，研究人员提出使用分布式查询方式，把数据分配到多个物理节点上，节点之间并行查询，以提高查询速度。多节点之间通过网络通信汇总查询结果。但是，查询效率容易受到网络环境的影响。网络延迟，网络丢包等因素都容易影响到查询效率。
发明内容
针对上述问题，提出一种在非统一内存访问架构(NUMA)下的多处理器平台上基于数据划分的局部敏感哈希索引的建立和检索的方法。
具体地说，本发明公开了一种基于多处理器平台的视觉特征并行快速匹配方法，其中包括：
步骤1、提取图片或视频帧的视觉特征，并将所有视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；
步骤2、根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
步骤3、根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，其中K为正整数；
步骤4、在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果。
该一种基于多处理器平台的视觉特征并行快速匹配方法，其中该层次聚类算法具体为均值联动算法，该步骤1还包括：步骤101、将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。
该一种基于多处理器平台的视觉特征并行快速匹配方法，其中该步骤2还包括：
步骤102、在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上。
该一种基于多处理器平台的视觉特征并行快速匹配方法，其中该多处理器平台基于NUMA架构。
该一种基于多处理器平台的视觉特征并行快速匹配方法，其中步骤1中该预处理包括：对包含多个图片的数据进行去除重复数据以及数据归一化处理，生成该数据集。
本发明还提出了一种基于多处理器平台的视觉特征并行快速匹配系统，其中包括：
聚类模块，用于提取图片或视频帧的视觉特征，并将所有视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；
映射模块，用于根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
筛选模块，用于根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，并在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果，其中K为正整数。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该层次聚类算法具体为均值联动算法，该聚类模块还包括：将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该映射模块还包括：在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该多处理器平台基于NUMA架构。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该预处理包括：对包含多个图片的数据进行去除重复数据以及数据归一化处理，生成该数据集。
与现有技术相比，本发明的优点在于：
首先，采用数据划分方法可以大幅度减少数据匹配范围。相比使用k-means聚类来进行数据划分，使用层次聚类可以更加灵活地确定聚类中心的个数，解决k-means聚类必须事先确定聚类中心个数的问题。
其次，相对于分布式的检索模型，仅在主机内部使用进程或线程通信可以避免不必要的网络跳转和延迟，显著减少查询时间。同时，可以避免在高负载情况下的网络拥塞问题。
最后，采用查询线程绑定CPU的方式，可以减少操作系统对于线程的调度时所需要的上下文切换时间。NUMA是目前多处理器平台采用最广泛的内存架构，方法充分利用CPU缓存和本地内存的优先访问，可以显著提高资源调度和使用效率。
附图说明
图1为多处理器平台基于数据划分的图像检索方法框图；
图2为多处理器平台的查询汇总过程示意图；
图3为多处理器平台的数据划分图；
图4为哈希表与内存、CPU的对应图。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
基于数据划分的局部敏感哈希索引按照下述方法构建，具体的数据分配参见图3：
1.参考经典的层次聚类算法，根据数据规模和处理器个数，选择聚类的阈值，获取特定个数的聚类中心。
2.在获取聚类中心的基础上，根据该处理器个数和该聚类中心个数，建立聚类中心到处理器的映射。
3.聚类中心映射的处理器在本地内存中依据聚类中心的数据建立哈希表。
图3中聚类数据预处理包括对图片特征数据进行去除重复数据以及数据归一化处理。
最终哈希表与内存和CPU的对应图参考图4。
按照下述方法，对需要检索的数据进行匹配，获得匹配结果，检索的汇总过程参考图2：
1.查询数据根据与聚类中心的距离，选择欧氏距离最近的K个聚类中心。
2.多线程查询K个聚类中心对应的哈希表，在每个哈希表上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果候选点。
3.综合多个表的查询结果，选择最相近的m查询结果，作为最后的查询返回结果。
其中哈希表的建立和数据查询部分，利用到基于NUMA(Non UniformMemoryAccessArchitecture)架构的多处理器平台，充分利用CPU缓存和CPU对本地内存访问优先访问的优势。其通过以下的技术方案实现：
对于聚类中心对应的数据，由映射的处理器创建的线程使用本地内存来建立哈希表。
每个哈希表会对应多个查询线程，查询线程会绑定到对应的处理器上。操作系统在调度线程时，会优先让查询线程运行在绑定的处理器上，而不是跨处理器调度线程。减少跨处理器调度线程的上下文切换。
在上述的多个线程完成并行查询多个哈希表之后，由发送查询的线程对多个表的查询结果进行综合排序，得到最终的查询结果。
请参考图1为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一个具体的实施方案例子：图1给出了本发明的一个是实施例的流程示意图。首先，获取包含多个图片的数据包作为待数据集，并根据经典的层次聚类算法、该数据集的规模大小和处理器个数，对该待测数据进行聚类，之后根据预设的阈值，确定并保存每个类的聚类中心；其次，把待建哈希表映射到对应处理器上，使用处理器本地内存建立哈希表，需要注意的是，一个哈希表只映射到一个处理器；再者，依据用户输入的查询数据与各聚类中心的距离，分配查询数据与聚类中心最近的多个哈希表上进行查询；最后，依据多表查询的候选点集，选择与查询数据欧式距离最近的K个候选点，作为查询结果。
具体包括，步骤1、提取图片或视频帧的视觉特征，并将所有视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；该预处理包括：对包含多个图片的数据进行去除重复数据以及数据归一化处理，生成该数据集。
步骤2、根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
步骤3、根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，其中K为正整数；
步骤4、在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果。
分别描述各个步骤的具体过程：
在步骤1中还包括步骤101，参考经典的自底向上的层次聚类算法，将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。层次聚类算法初始化时，把每个数据点作为一个类别。算法使用均值联动(Average-linkage)方法作为类间的距离计算方式，分别计算每两个类别之间的距离。合并距离最近的两个类别，直到数据集中只有一个类别。层次聚类完成之后会得到一棵聚类树，聚类树即为层次聚类过程中产生的树结构。可以根据数据集的大小和处理器的个数，选择适当的阈值，来得到特定数目的聚类中心。计算聚类中心每个维度的值，确定并保存每个类的聚类中心。其中数据点指的是图片的视觉特征，依据提取的视觉特征类型，一张图片可能产生一条或多条视觉特征，本系统对视觉特征数据的类型不做限制，均可适用。
在步骤2中还包括步骤102，在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上。依据步骤101中获得聚类中心个数，首先建立聚类中心与各处理器间的映射关系，之后各处理器根据各自的映射关系找到属于各处理器的聚类中心数据，由此各处理器根据属于自身的聚类中心数据在本地内存中建立属于自身的哈希表，具体请参见图3的数据划分图。在处理器上开启一个线程依据聚类中心的数据使用局部敏感哈希算法建立哈希表。建立哈希表过程当中，线程优先使用处理器本地的内存。经过上述几个步骤，所有聚类中心的哈希表会依次建立起来，最终的结果图参见图4，图4中LSH-Table意为LSH表，Memory为内存，Node为节点，fast代表快速，slow代表慢速，Based意为可以去除。接着，每个哈希表对应的处理器上开启多个查询线程。同时把查询线程绑定到处理器上。
在步骤3中还包括步骤103，依据步骤102中哈希表和处理器的映射关系，进行查询数据的分配。查询分配线程，首先计算查询数据与所有聚类中心的欧式距离，选择欧式距离最近的K个聚类中心所对应的哈希表作为待查表项，并记录查询对应表项。把查询数据插入到哈希表的查询队列当中。等待处理器上查询线程的查询。阈值K为正整数，可按照实际应用当中对于查询速度和查询结果的要求不同而进行调整。
在步骤104中，对于每个哈希表上的多个查询线程，每个线程负责一个查询，计算查询数据的哈希值，在哈希表中选择与查询数据哈希值相同的数据作为候选点。把候选点集合插入到查询分配线程的查询结果队列当中。依据步骤103中查询分配线程记录查询数据对应的查询表项，等待本次查询的所有表项查询完毕之后，计算候选点与查询数据之间的距离，选择距离最近的m个候选点作为最终的查询结果，即图2中的TopK结果集，m为正整数，参见图2的查询汇总过程。
下表1和表2为本发明的具体实验效果：
并根据其试验结果可知本发明多处理器可支持特征库规模大，示例数据为7500万；优化后保证了多处理架构能够保证检索的线性增长；CPU绑定可以进一步提高检索速度。实验环境：内存大小2TB；机器平台：Huawei kunlun；CPU：Intel E7-v3，2.3GHz，NUMA架构，8-Sockets；物理核：144＝18cores/Socket，逻辑核(线程数)：288；实验数据：7500万帧。
表1：
Figure BDA0001469570370000071
表2：
Figure BDA0001469570370000072
Figure BDA0001469570370000081
以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种基于多处理器平台的视觉特征并行快速匹配系统，其中包括：
聚类模块，用于提取图片或视频帧的视觉特征，并将所有视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；
映射模块，用于根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
筛选模块，用于根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，并在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果，其中K为正整数。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该层次聚类算法具体为均值联动算法，该聚类模块还包括：将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该映射模块还包括：在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该多处理器平台基于NUMA架构。
该一种基于多处理器平台的视觉特征并行快速匹配系统，其中该聚类模块，还用于对提取的图片或视频帧进行去除重复数据以及数据归一化处理。

Claims (8)

1.一种基于多处理器平台的视觉特征并行快速匹配方法，其特征在于，包括：
步骤1、提取图片或视频帧的视觉特征，并将所有该视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；
步骤2、根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
步骤3、根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，其中K为正整数；
步骤4、在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果；
其中该步骤2还包括：
步骤102、在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上，操作系统在调度线程时，优先让该查询线程运行在绑定的处理器上。
2.如权利要求1所述的一种基于多处理器平台的视觉特征并行快速匹配方法，其特征在于，该层次聚类算法具体为均值联动算法，该步骤1还包括：步骤101、将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。
3.如权利要求1所述的一种基于多处理器平台的视觉特征并行快速匹配方法，其特征在于，该多处理器平台基于NUMA架构。
4.如权利要求1所述的一种基于多处理器平台的视觉特征并行快速匹配方法，其特征在于，在该步骤1中还包括对提取的图片或视频帧进行去除重复数据以及数据归一化处理。
5.一种基于多处理器平台的视觉特征并行快速匹配系统，其特征在于，包括：
聚类模块，用于提取图片或视频帧的视觉特征，并将所有该视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；
映射模块，用于根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；
筛选模块，用于根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，并在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果，其中K为正整数；
该映射模块还包括：
步骤102、在各处理器上开启一个线程以建立该哈希表，所有处理器均完成哈希表的建立后，各处理器开启多个查询线程，同时把该查询线程绑定到处理器上，操作系统在调度线程时，优先让该查询线程运行在绑定的处理器上。
6.如权利要求5所述的一种基于多处理器平台的视觉特征并行快速匹配系统，其特征在于，该层次聚类算法具体为均值联动算法，该聚类模块还包括：将该数据集中每个数据点作为一个类别，采用均值联动算法分别计算每两个类别之间的距离，并合并距离最近的两个类别，直到该数据集中只有一个类别。
7.如权利要求5所述的一种基于多处理器平台的视觉特征并行快速匹配系统，其特征在于，该多处理器平台基于NUMA架构。
8.如权利要求5所述的一种基于多处理器平台的视觉特征并行快速匹配系统，其特征在于，该聚类模块，还用于对提取的图片或视频帧进行去除重复数据以及数据归一化处理。
CN201711132235.6A 2017-11-15 2017-11-15 基于多处理器平台的视觉特征并行快速匹配方法和系统 Active CN108052535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711132235.6A CN108052535B (zh) 2017-11-15 2017-11-15 基于多处理器平台的视觉特征并行快速匹配方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711132235.6A CN108052535B (zh) 2017-11-15 2017-11-15 基于多处理器平台的视觉特征并行快速匹配方法和系统

Publications (2)

Publication Number Publication Date
CN108052535A CN108052535A (zh) 2018-05-18
CN108052535B true CN108052535B (zh) 2021-02-05

Family

ID=62119189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711132235.6A Active CN108052535B (zh) 2017-11-15 2017-11-15 基于多处理器平台的视觉特征并行快速匹配方法和系统

Country Status (1)

Country Link
CN (1) CN108052535B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242048B (zh) * 2018-11-07 2022-04-08 电子科技大学 基于时间序列的视觉目标分布式聚类方法
CN111291036B (zh) * 2018-11-21 2023-10-20 杭州海康威视数字技术股份有限公司 数据标签的确定方法、装置及计算机可读存储介质
CN111695917A (zh) * 2019-03-11 2020-09-22 北京京东尚科信息技术有限公司 商品推荐方法、系统、电子设备和存储介质
CN113268333B (zh) * 2021-06-21 2024-03-19 成都锋卫科技有限公司 一种基于多核计算的层次聚类算法优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250633A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法
CN103744934A (zh) * 2013-12-30 2014-04-23 南京大学 一种基于位置敏感哈希的分布式索引方法
CN104182334A (zh) * 2013-05-24 2014-12-03 鸿富锦精密工业（深圳）有限公司 Numa系统的内存测试方法及系统
CN105701174A (zh) * 2016-01-05 2016-06-22 中国电影科学技术研究所 一种基于动态纹理基元的外观设计专利检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141994A (zh) * 2010-02-03 2011-08-03 苗乾坤 基于内容的图片搜索方法及其并行优化技术

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250633A (ja) * 2009-04-17 2010-11-04 Seiko Epson Corp 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法
CN104182334A (zh) * 2013-05-24 2014-12-03 鸿富锦精密工业（深圳）有限公司 Numa系统的内存测试方法及系统
CN103744934A (zh) * 2013-12-30 2014-04-23 南京大学 一种基于位置敏感哈希的分布式索引方法
CN105701174A (zh) * 2016-01-05 2016-06-22 中国电影科学技术研究所 一种基于动态纹理基元的外观设计专利检索方法

Also Published As

Publication number Publication date
CN108052535A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
Mohebi et al. Iterative big data clustering algorithms: a review
CN108052535B (zh) 基于多处理器平台的视觉特征并行快速匹配方法和系统
Köhler et al. Efficient parallel skyline processing using hyperplane projections
EP2742446B1 (en) A system and method to store video fingerprints on distributed nodes in cloud systems
US20140229473A1 (en) Determining documents that match a query
US11600005B2 (en) Pre-statistics of data for node of decision tree
CN103577418A (zh) 海量文档分布式检索排重系统和方法
Kim et al. A web service for author name disambiguation in scholarly databases
Tang et al. Efficient Processing of Hamming-Distance-Based Similarity-Search Queries Over MapReduce.
Li et al. Losha: A general framework for scalable locality sensitive hashing
WO2022007596A1 (zh) 图像检索系统、方法和装置
CN114329094A (zh) 一种基于Spark的大规模高维数据近似近邻查询系统和方法
Cheng et al. A Multi-dimensional Index Structure Based on Improved VA-file and CAN in the Cloud
CN113761017A (zh) 相似性搜索方法和装置
Hare et al. Practical scalable image analysis and indexing using Hadoop
CN110209895B (zh) 向量检索方法、装置和设备
Yin et al. Content-based image retrial based on Hadoop
Antaris et al. Similarity search over the cloud based on image descriptors' dimensions value cardinalities
Antaris et al. In-memory stream indexing of massive and fast incoming multimedia content
US20170031909A1 (en) Locality-sensitive hashing for algebraic expressions
Karunarathna et al. Scalable graph convolutional network based link prediction on a distributed graph database server
Lu et al. Dynamic Partition Forest: An Efficient and Distributed Indexing Scheme for Similarity Search based on Hashing
Hung et al. Distributed community detection on edge-labeled graphs using spark
CN112256730A (zh) 信息检索方法、装置、电子设备及可读存储介质
Ge et al. Cinhba: A secondary index with hotscore caching policy on key-value data store

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant