CN108804383A - 基于度量空间的支撑点并行枚举方法及装置 - Google Patents

基于度量空间的支撑点并行枚举方法及装置 Download PDF

Info

Publication number
CN108804383A
CN108804383A CN201810540034.8A CN201810540034A CN108804383A CN 108804383 A CN108804383 A CN 108804383A CN 201810540034 A CN201810540034 A CN 201810540034A CN 108804383 A CN108804383 A CN 108804383A
Authority
CN
China
Prior art keywords
subprocess
query object
node
gpu
inequality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810540034.8A
Other languages
English (en)
Other versions
CN108804383B (zh
Inventor
毛睿
胡梓良
刘开南
陆敏华
陆克中
罗秋明
雷海军
蔡晔
王毅
廖好
周池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810540034.8A priority Critical patent/CN108804383B/zh
Publication of CN108804383A publication Critical patent/CN108804383A/zh
Application granted granted Critical
Publication of CN108804383B publication Critical patent/CN108804383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于度量空间的支撑点并行枚举方法及装置，该方法包括：调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集；控制该M个节点分别调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，且N等于每个节点包含的GPU的个数，控制各M个节点内创建的N个子进程运行，通过N个子进程一对一控制相应节点内的N个GPU，利用GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。通过上述方式，能够有效实现支撑点的并行枚举，有效缩短支撑点枚举所消耗的时间，及提高数据计算的性能。

Description

基于度量空间的支撑点并行枚举方法及装置
技术领域
本发明涉及大数据挖掘领域，尤其涉及一种基于度量空间的支撑点并行枚举方法及装置。
背景技术
目前，已经有一些支撑点选取算法，但是不同算法间的性能差别往往不大，用复杂的数学工具以很高的构建计算代价得到的支撑点带来的索引性能提升往往相对较少。
随着数据量增大，将会出现计算量呈指数级上升，计算时间过长的问题，将影响到整个领域的研究进度，因此，研究一种计算时间短的支撑点枚举方式是目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种基于度量空间的支撑点并行枚举方法，旨在解决现有技术中支撑点枚举方法存在计算时间长的技术问题。
为实现上述目的，本发明第一方面提供一种基于度量空间的支撑点并行枚举方法，包括：
调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
控制所述M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，所述N为正整数，其中，每个节点都包含N个图形处理器GPU；
控制各所述M个节点内创建的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。
为实现上述目的，本发明第二方面提供一种基于度量空间的支撑点并行枚举的装置，包括：
调用分配模块，用于调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
控制处理模块，用于控制所述M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，所述N为正整数，其中，每个节点都包含N个图形处理器GPU；
遍历枚举模块，用于控制各所述M个节点内创建的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。
本发明提供一种基于度量空间的支撑点并行枚举方法，包括：调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，该M为正整数；控制该M个节点分别调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，该N为正整数，且等于每个节点包含的GPU的个数，并控制各M个节点内创建的N个子进程运行，通过N个子进程一对一控制相应节点内的N个GPU，利用GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。相对于现有技术，通过将调用消息传递接口的方式，将待计算数据分发至M个节点，并继续分配至节点的N个子进程中，使得N个子进程能够并行运算，能够有效实现支撑点的并行枚举，有效缩短支撑点枚举所消耗的时间，且进一步通过子进程调用GPU，由于GPU本身具有多线程运行，并行能力强的特点，基于GPU进行并行枚举，能够进一步缩短支撑点枚举所需要的时间，有效提高数据计算的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于度量空间的支撑点并行枚举方法的流程示意图；
图2为本发明实施例中基于度量空间的支撑点并行枚举装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本发明实施例中基于度量空间的支撑点并行枚举方法的流程示意图，包括：
步骤101、调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
度量空间(Metric Space)是一种覆盖范围很广的数据类型的抽象，度量空间在数学中是指一个集合，并且该集合中的任意元素之间的距离是可以定义的。度量空间最大的优势在于其高度的普遍适用性，用户只需要提供距离函数就可以进行数据相似性搜索。在度量空间中，一般是先找出支撑点，然后将数据到支撑点的距离作为坐标，因此，支撑点的好坏对于度量空间的数据管理分析的性能发挥着关键性的影响，本发明实施例即是要解决支撑点枚举过程中存在的计算时间长的问题。
在本发明实施例中，将进行大规模集群下的多节点并行初始化，具体的，调用消息传递接口(Message passing interface，MPI)，通过该MPI将待计算数据分发到M个节点，每个节点都分配到一份数据集，且该数据集的大小为dataset/M个数据，dataset表示待计算数据，也可称为原始数据，其中，待计算数据中包含了多个查询对象。
步骤102、控制所述M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，所述N为正整数，其中，每个节点都包含N个GPU；
在步骤102中将进行节点间初始化过程，控制上述M个节点调用Fork函数(分叉函数)，使得节点内都将创建N个子进程，以便将节点的数据集分配至该N各子进程，每个子进程分配得到一份子数据集。可以理解的是，每个节点中都包含至少N个GPU，使得每个子进程都可以分配到一个对应的GPU，且GPU可以并行运行多个线程，具备多线程并行，运算能力强等特点。
例如，若M节点的个数为8个，则将待计算数据分为8份数据集，每个节点一份，且若每一个节点创建4个子进程，则每个节点的一份数据集则划分为4份子数据集，每个子进程一份，同时，由于一个子进程对应一个GPU，因此，在本发明实施例中，子进程、子数据集及GPU之间具备一一对应的关系。
需要说明的是，在待计算数据分发到M个节点，及将数据集分配至N个子进程对应的GPU时，可以按照平均分发的方式，以便能够实现负载均衡。
需要说明的是，若节点内包含的GPU的个数不同，则可以先确定每个节点内GPU的个数，然后基于各节点内的GPU的个数对待计算数据进行划分，使得每个GPU处理的数据量相同或者相差较小，以便满足负载均衡的要求。
步骤103、控制所述M个节点内的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，保存枚举结果。
在本发明实施例中，每个节点中都至少包含N个GPU，使得能够为每个创建的子进程分配一个对应的GPU，将控制各M个节点内的N个子进程运行，即共有M*N个子进程运行，对于每一个节点，其内的N个子进程将控制对应的GPU，利用GPU遍历其子数据集中的数据，进行支撑点的并行枚举，保存枚举结果。此处并行枚举有三处，一处是M个节点并行，一处是节点内的子进程并行，还有一处就是子进程控制的GPU能够实现多线程并行。
具体的，步骤103中，控制M个节点内的N个子进程运行，通过N个子进程一对一控制相应节点内的N个GPU，利用GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，保存枚举结果，包括：
控制节点内的子进程运行，子进程将控制其对应的GPU，该GPU将对相应子进程的子数据集进行遍历，子数据集中包含查询对象，对于遍历到的查询对象，基于预设的参考对象，查询半径及支撑点判断该查询对象的三角不等性，得到查询对象的三角不等性判断结果，并进一步由GPU根据查询对象的三角不等性判断结果，得到该查询对象的枚举结果。
且步骤103还包括，从M个节点的N个子进程获取待计算数据的枚举结果，具体的，GPU在完成子数据集中的查询对象的枚举之后，将得到该子数据集中的所有查询对象的枚举结果，作为该子数据集的枚举结果并反馈给子进程，因此，各个节点都可以获取其包含的N个子数据集的枚举结果，从而可以获取到各M个节点的各N个子数据集的枚举结果，得到M*N个子数据集的枚举结果，即为待计算数据的枚举结果。
可以理解的是，由于存在多个节点，每个节点又创建了多个子进程，且每个子进程都有对应的GPU对子数据集进行计算，因此，能够在节点维度、子进程维度、线程维度上实现并行枚举，有效缩短支撑点枚举所需要的时间，提高计算效率及性能。
其中，将使用如下的三角不等性公式进行三角不等性判断：
|d(q,p)-d(p,x)|>r，d(q,p)+d(p,x))<＝r
其中，d()表示距离函数，q表示遍历到的查询对象，p表示支撑点、x表示参考对象，r表示查询半径。
其中，三角不等性的判断结果具体有以下三种情况，包括：
当查询对象满足三角不等性公式中的任意一个不等式时，确定该查询对象的三角不等性判断结果为：可直接查询；
当查询对象不满足三角不等性的任意一个不等式时，确定查询对象的三角不等性判断结果为：不可直接查询；
当无法确定查询对象是否满足三角不等性公式中的任意一个不等式时，则确定查询对象的三角不等性判断结果为：无法确定。
需要说明的是，在三角不等性判断结果为无法确定的情况，GPU还将进一步利用查询对象进行距离计算，并将查询对象的距离计算次数加1。
需要说明的是，参考对象与查询对象属于同一个子数据集，查询半径为预置的查询半径集合中的一个半径，因此，对于任意一个查询对象，若查询半径集合中包含H个查询半径，则该查询对象将按照上述三角不等性公式进行H次三角不等性判断，每次判断所使用的查询半径不同，其中，H为正整数。
在本发明实施例中，通过上述方式，能够得到待计算数据中各个查询对象的距离计算次数，且距离计算次数越小，作为支撑点的性能就越好，距离计算次数越大，作为支撑点的性能就越差。
请参阅图2，为本发明实施例中基于度量空间的支撑点并行枚举装置的结构示意图，包括：
调用分配模块201，用于调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
控制处理模块202，用于控制M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，N为正整数，其中，每个节点都包含N个图形处理器GPU；
遍历枚举模块203，用于控制各所述M个节点内创建的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。
其中，遍历枚举模块203包括：
控制判断模块，用于控制节点内的子进程运行，通过所述子进程控制所述GPU对所述子进程对应的子数据集进行遍历，对于遍历到的查询对象，基于预设的参考对象、查询半径及支撑点判断所述查询对象的三角不等性，得到所述查询对象的三角不等性判断结果；并由所述GPU根据所述查询对象的三角不等性判断结果，得到所述查询对象的枚举结果；
获取保存模块，用于从所述M个节点的N个子进程获取所述待计算数据的枚举结果，并保存，其中，子进程接收其控制的GPU反馈的所述子进程对应的子数据集中各查询对象的枚举结果。
其中，判断控制模块利用以下三角不等性公式进行三角不等性判断：
|d(q,p)-d(p,x)|>r，d(q,p)+d(p,x))<＝r
其中，d()表示距离函数，q表示遍历到的查询对象，p表示支撑点、x表示参考对象，r表示查询半径。
述判断控制模块得到的查询对象的三角不等性判断结果，包括：
当查询对象满足三角不等性公式的任意一个不等式时，确定查询对象的三角不等性判断结果为：可直接查询；
当查询对象不满足三角不等性的任意一个不等式时，确定查询对象的三角不等性判断结果为：不可直接查询；
当无法确定查询对象是否满足三角不等性公式中的任意一个不等式时，则确定查询对象的三角不等性判断结果为：无法确定。
需要说明的是，在遍历得到所有查询对象的三角不等性判断结果之后，对于三角不等性判断结果为无法确定的查询对象，GPU将对查询对象进行距离计算，并将查询对象的距离计算次数加1，将查询对象的最后的距离计算次数作为查询对象的枚举结果。
在本发明实施例中，通过将调用消息传递接口的方式，将待计算数据分发至M个节点，并继续分配至节点的N个子进程中，使得N个子进程能够并行运算，能够有效实现支撑点的并行枚举，有效缩短支撑点枚举所消耗的时间，且进一步通过子进程调用GPU，由于GPU本身具有多线程运行，并行能力强的特点，基于GPU进行并行枚举，能够进一步缩短支撑点枚举所需要的时间，有效提高数据计算的性能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种基于度量空间的支撑点枚举方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于度量空间的支撑点并行枚举方法，其特征在于，所述方法包括：
调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
控制所述M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，所述N为正整数，其中，每个节点都包含N个图形处理器GPU；
控制各所述M个节点内创建的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。
2.根据权利要求1所述的方法，其特征在于，所述控制所述M个节点内的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，保存枚举结果，包括：
控制节点内的子进程运行，通过所述子进程控制所述GPU对所述子进程对应的子数据集进行遍历，对于遍历到的查询对象，基于预设的参考对象、查询半径及支撑点判断所述查询对象的三角不等性，得到所述查询对象的三角不等性判断结果；并由所述GPU根据所述查询对象的三角不等性判断结果，得到所述查询对象的枚举结果；
从所述M个节点的N个子进程获取所述待计算数据的枚举结果，并保存，其中，子进程接收其控制的GPU反馈的所述子进程对应的子数据集中各查询对象的枚举结果。
3.根据权利要求2所述的方法，其特征在于，利用以下三角不等性公式进行三角不等性判断：
|d(q,p)-d(p,x)|>r，d(q,p)+d(p,x))<＝r
其中，d()表示距离函数，q表示遍历到的查询对象，p表示支撑点、x表示参考对象，r表示查询半径。
4.根据权利要求3所述的方法，其特征在于，所述得到所述查询对象的三角不等性判断结果，包括：
当所述查询对象满足所述三角不等性公式的任意一个不等式时，确定所述查询对象的三角不等性判断结果为：可直接查询；
当所述查询对象不满足所述三角不等性的任意一个不等式时，确定所述查询对象的三角不等性判断结果为：不可直接查询；
当无法确定所述查询对象是否满足所述三角不等性公式中的任意一个不等式时，则确定所述查询对象的三角不等性判断结果为：无法确定。
5.根据权利要求4所述的方法，其特征在于，所述由所述GPU根据所述查询对象的三角不等性判断结果，得到所述查询对象的枚举结果，具体包括：
对于三角不等性判断结果为无法确定的查询对象，所述GPU对所述查询对象进行距离计算，并将所述查询对象的距离计算次数加1，将所述查询对象的最后的距离计算次数作为所述查询对象的枚举结果。
6.一种基于度量空间的支撑点并行枚举装置，其特征在于，所述装置包括：
调用分配模块，用于调用消息传递接口，将待计算数据分发到M个节点，每个节点分配到一份数据集，其中，M为正整数；
控制处理模块，用于控制所述M个节点调用分叉函数，在每个节点内创建N个子进程，并将节点对应的数据集分配至N个子进程，使得每个子进程分配到一份子数据集，所述N为正整数，其中，每个节点都包含N个图形处理器GPU；
遍历枚举模块，用于控制各所述M个节点内创建的N个子进程运行，通过所述N个子进程一对一控制相应节点内的N个GPU，利用所述GPU遍历对应子进程的子数据集中的数据，进行支撑点的并行枚举，并保存枚举结果。
7.根据权利要求6所述的装置，其特征在于，所述遍历枚举模块包括：
控制判断模块，控制节点内的子进程运行，通过所述子进程控制所述GPU对所述子进程对应的子数据集进行遍历，对于遍历到的查询对象，基于预设的参考对象、查询半径及支撑点判断所述查询对象的三角不等性，得到所述查询对象的三角不等性判断结果；并由所述GPU根据所述查询对象的三角不等性判断结果，得到所述查询对象的枚举结果；
获取保存模块，用于从所述M个节点的N个子进程获取所述待计算数据的枚举结果，并保存，其中，子进程接收其控制的GPU反馈的所述子进程对应的子数据集中各查询对象的枚举结果。
8.根据权利要求7所述的装置，其特征在于，所述判断控制模块利用以下三角不等性公式进行三角不等性判断：
|d(q,p)-d(p,x)|>r，d(q,p)+d(p,x))<＝r
其中，d()表示距离函数，q表示遍历到的查询对象，p表示支撑点、x表示参考对象，r表示查询半径。
9.根据权利要求8所述的装置，其特征在于，所述判断控制模块得到的所述查询对象的三角不等性判断结果，包括：
当所述查询对象满足所述三角不等性公式的任意一个不等式时，确定所述查询对象的三角不等性判断结果为：可直接查询；
当所述查询对象不满足所述三角不等性的任意一个不等式时，确定所述查询对象的三角不等性判断结果为：不可直接查询；
当无法确定所述查询对象是否满足所述三角不等性公式中的任意一个不等式时，则确定所述查询对象的三角不等性判断结果为：无法确定。
10.根据权利要求7所述的装置，其特征在于，所述控制判断模块具体用于：
控制节点内的子进程运行，通过所述子进程控制所述GPU对所述子进程对应的子数据集进行遍历，对于遍历到的查询对象，基于预设的参考对象、查询半径及支撑点判断所述查询对象的三角不等性，得到所述查询对象的三角不等性判断结果；对于三角不等性判断结果为无法确定的查询对象，由GPU对所述查询对象进行距离计算，并将所述查询对象的距离计算次数加1，将所述查询对象的最后的距离计算次数作为所述查询对象的枚举结果。
CN201810540034.8A 2018-05-30 2018-05-30 基于度量空间的支撑点并行枚举方法及装置 Active CN108804383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810540034.8A CN108804383B (zh) 2018-05-30 2018-05-30 基于度量空间的支撑点并行枚举方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810540034.8A CN108804383B (zh) 2018-05-30 2018-05-30 基于度量空间的支撑点并行枚举方法及装置

Publications (2)

Publication Number Publication Date
CN108804383A true CN108804383A (zh) 2018-11-13
CN108804383B CN108804383B (zh) 2022-04-12

Family

ID=64089527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810540034.8A Active CN108804383B (zh) 2018-05-30 2018-05-30 基于度量空间的支撑点并行枚举方法及装置

Country Status (1)

Country Link
CN (1) CN108804383B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287139A (zh) * 2019-06-13 2019-09-27 深圳大学 Cpu和mic协同计算方法、装置及存储介质
CN110363700A (zh) * 2019-07-12 2019-10-22 辽宁工程技术大学 一种基于深度图分割的自定义指令并行枚举方法
CN111158918A (zh) * 2019-12-31 2020-05-15 深圳大学 支撑点并行枚举负载均衡方法、装置、设备及介质
WO2020124488A1 (zh) * 2018-12-20 2020-06-25 深圳大学 应用进程映射方法、电子装置及计算机可读存储介质
CN113065036A (zh) * 2021-04-14 2021-07-02 深圳大学 一种度量空间支撑点性能衡量方法、装置及相关组件

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203930A1 (en) * 2004-03-10 2005-09-15 Bukowski Richard W. System and method for efficient storage and manipulation of extremely large amounts of scan data
CN103080984A (zh) * 2010-06-30 2013-05-01 巴里·林恩·詹金斯 使用保守的线性化本影事件面来确定从区看去的可见性和进行基于增量pvs的内容流处理的系统及方法
CN103744643A (zh) * 2014-01-10 2014-04-23 浪潮(北京)电子信息产业有限公司 一种多线程程序下多节点并行架构的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050203930A1 (en) * 2004-03-10 2005-09-15 Bukowski Richard W. System and method for efficient storage and manipulation of extremely large amounts of scan data
CN103080984A (zh) * 2010-06-30 2013-05-01 巴里·林恩·詹金斯 使用保守的线性化本影事件面来确定从区看去的可见性和进行基于增量pvs的内容流处理的系统及方法
CN103744643A (zh) * 2014-01-10 2014-04-23 浪潮(北京)电子信息产业有限公司 一种多线程程序下多节点并行架构的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李兴亮: "度量空间索引支撑点选择问题研究", 《中国优秀博硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020124488A1 (zh) * 2018-12-20 2020-06-25 深圳大学 应用进程映射方法、电子装置及计算机可读存储介质
CN110287139A (zh) * 2019-06-13 2019-09-27 深圳大学 Cpu和mic协同计算方法、装置及存储介质
CN110363700A (zh) * 2019-07-12 2019-10-22 辽宁工程技术大学 一种基于深度图分割的自定义指令并行枚举方法
CN111158918A (zh) * 2019-12-31 2020-05-15 深圳大学 支撑点并行枚举负载均衡方法、装置、设备及介质
WO2021134810A1 (zh) * 2019-12-31 2021-07-08 深圳大学 支撑点并行枚举负载均衡方法、装置、设备及介质
CN113065036A (zh) * 2021-04-14 2021-07-02 深圳大学 一种度量空间支撑点性能衡量方法、装置及相关组件
CN113065036B (zh) * 2021-04-14 2021-11-16 深圳大学 一种度量空间支撑点性能衡量方法、装置及相关组件

Also Published As

Publication number Publication date
CN108804383B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN108804383A (zh) 基于度量空间的支撑点并行枚举方法及装置
CN101741907A (zh) 一种均衡服务器负载的方法、系统和主服务器
CN103905311B (zh) 流表匹配方法和装置以及交换机
CN105247513A (zh) 用于使用固定表在无共享关系型数据库集群中进行分布式sql连接处理的系统和方法
CN105824686B (zh) 一种虚拟机宿主机的选择方法和选择系统
JP6243045B2 (ja) グラフデータクエリ方法および装置
CN109525658A (zh) 一种产号方法、服务器、设备、存储介质和业务系统
CN106936925A (zh) 负载均衡方法和系统
CN104991780B (zh) 一种界面切换方法及终端
CN108694188A (zh) 一种索引数据更新的方法以及相关装置
CN103516763B (zh) 资源处理方法和系统以及装置
CN106547870A (zh) 数据库的分表方法及装置
CN108418752B (zh) 一种聚合组的创建方法和装置
Koh et al. MapReduce skyline query processing with partitioning and distributed dominance tests
CN106250566A (zh) 一种分布式数据库及其数据运算的管理方法
CN109376151A (zh) 数据分库处理方法、系统、装置和存储介质
CN108694083B (zh) 一种服务器的数据处理方法和装置
CN105187531A (zh) 应用于云计算虚拟化服务器集群的负载均衡的系统及方法
CN113094395B (zh) 数据查询方法、计算机设备和存储介质
CN110399600A (zh) 生成宽表的方法及装置
CN110288390A (zh) 确定地址的方法及装置
CN106911777A (zh) 一种数据处理方法及服务器
CN111049750B (zh) 一种报文转发方法、系统及设备
CN106067158B (zh) 一种基于gpu的特征比对方法及装置
CN106909460A (zh) 数据缓冲方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant