CN106503196A - 云环境下可扩展存储索引结构的构建和查询方法 - Google Patents
云环境下可扩展存储索引结构的构建和查询方法 Download PDFInfo
- Publication number
- CN106503196A CN106503196A CN201610944106.6A CN201610944106A CN106503196A CN 106503196 A CN106503196 A CN 106503196A CN 201610944106 A CN201610944106 A CN 201610944106A CN 106503196 A CN106503196 A CN 106503196A
- Authority
- CN
- China
- Prior art keywords
- data
- trees
- dimension
- index
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云环境下可扩展存储索引结构的构建和查询方法,首先建立KD树索引结构,在建立KD树时依次采用每个索引维的数据作为层结点的划分标准,将构建得到的KD树中各个叶子结点数据集的索引数据存储在HBase中,并对整个数据集建立其Bloom Filter结构并存储;在单健值查询时,先通过Bloom Filter结构检测数据是否存在,然后再根据KD树进行精确查询;在范围查询时,确定查询范围对应的子树,然后根据子树下的叶子节点进行精确查询。本发明利用KD树这种数据结构并结合HBase来有针对性地构建云环境下可扩展存储索引结构,利用KD树将各维度在一定范围内的数据子集映射到一起,实现多维范围的查询。
Description
技术领域
本发明属于云存储技术领域,更为具体地讲,涉及一种云环境下可扩展存储索引结构的构建与查询方法。
背景技术
随着计算机及网络技术的发展,云计算技术作为一种高性能、低成本的实用分布式计算技术,已被广泛运用于以大数据处理为代表的各种网络应用中。高可扩展性和可靠性的云存储系统逐渐成为大数据处理的首选方案之一,已有的优秀云存储系统包括:Google的GFS、MapReduce以及其开源实现Hadoop、亚马逊的Dynamo和Facebook的Cassandra等。相对于传统数据存储系统,云存储系统分布更广,支持数据更多,这就意味着云存储时代的辅助索引系统必然发生大的变化。
当前大多数的云存储系统都采用健-值(Key-Value)模型,将查询的键(key)和具体值(value)映射为键值对(kv-pair)来存取数据。该模型简单,适合通过主键进行查询。在单键查询的时候有着良好的表现,但却不能有效支持范围查询。实际的应用效果表明,这类基于Key-Value模型的云存储系统还存在一些亟待提高的地方。例如,对于一个在线视频点播系统来说,用户们往往倾向于采用多于一个的键值来进行查询,或需要查询特定属性处于某一个数据范围之内的视频信息。为了满足上述的应用需求,当前的解决方案主要是通过运行一个后台批处理任务(例如运行一个MapReduce的任务),来扫描整个数据集然后得到查询结果。然而,这类解决方案缺乏时效性,新存入的数据不能被及时的查询到,必须等到后台的批处理任务完成了完整的扫描,数据才会可查。上述分析表明,当前云存储系统在多维度查询和范围查询方面支持的都不是很理想、且时效性差,有必要构建云环境下存储索引结构。
目前少数基于不同数据结构的双层存储索引结构已经被提出。这些方案能够很方便地实现云存储系统的可扩展性,使云存储系统能够同时支持大规模的查询。但是,这些方案在全局索引中大都采用了基于P2P协议的覆盖网络来实现并行查询,但是P2P网络本身的维护比较复杂,查询时的网络开销也比较大,这会影响到云存储系统的查询性能。同时,由于现有的云存储系统一般都是master-slave结构的,要在这些节点上重新构建一个P2P网络,会对原有的存储系统带来一定的负面影响。
发明内容
本发明的目的在于克服现有技术的不足,提供一种云环境下可扩展存储索引结构的构建与查询方法,在云存储系统中存储索引结构实现快速有效的多维查询。
为实现上述发明目的,本发明云环境下可扩展存储索引结构的构建与查询方法包括以下步骤:
S1:记数据集中每个数据为Xi=(xi1,xi2,…xij,…,xiL),其中i=1,2,…,N,j=1,2,…,L,其中N表示数据集中数据数量,L表示数据维数,根据需要从L维数据中选择M维数据作为索引维,然后根据以下方法构建KD树:
S1.1:令层数d=1,根据数据集中每个数据的第1维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为根结点;
S1.2:令d=d+1;
S1.3:如果d<D,D表示预设的KD树的深度,进入步骤S1.4,否则KD树构建完成;
S1.4:计算Ad=d%M,%表示取余;
S1.5:对于第d-1层中的每个结点,从数据集获取该结点对应的左子集和右子集范围内的所有数据,对于左子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为左子集的根结点;对于右子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为右子集的根结点;返回步骤S1.2;
S2:获取步骤S1中构建得到的KD树中各个叶子结点数据集并存储,将叶子结点对应的范围信息作为RowKey值,将叶子结点数据集中所有数据存储指针构成的数组作为Value值,将索引数据存储在HBase中;
S3:对整个数据集建立其Bloom Filter结构并存储;
S4:在单健值查询时,采用以下方法:
通过数据集的Bloom Filter结构检测所查询数据是否存在,如果未检测到数据存在,则报告数据不存在,如果存在,则根据KD树的路由定位到数据所在的叶子结点的Key值,然后根据Key值提取到对应的数据集,再进行精确查询,提取数据并返回或报告数据不存在;
S5:在范围查询时,采用以下方法:
根据KD树对数据在所选维度上的划分,确定查询范围对应的子树;获取该子树下所有叶子结点对应的Key值,如果要查询的结果是Value中已经预先计算好的函数值,则直接从对应Value中提取数据并返回,如果不是预先计算的函数值,则通过HBase提取得到所有Key值对应的数据,根据范围查询条件筛选出相应数据,然后计算得到函数值后返回结果。
本发明云环境下可扩展存储索引结构的构建和查询方法,首先建立KD树索引结构,在建立KD树时依次采用每个索引维的数据作为层结点的划分标准,将构建得到的KD树中各个叶子结点数据集的索引数据存储在HBase中,并对整个数据集建立其Bloom Filter结构并存储;在单健值查询时,先通过Bloom Filter结构检测数据是否存在,然后再根据KD树进行精确查询;在范围查询时,确定查询范围对应的子树,然后根据子树下的叶子节点进行精确查询。
本发明利用KD树这种数据结构并结合HBase来有针对性地构建云环境下可扩展存储索引结构,利用KD树将各维度在一定范围内的数据子集映射到一起,这样知道某些维度的范围就可以实现多维范围的查询。同时,针对单键值查询,利用Bloom-Filter的海量数据过滤能力,提高单点查询的效率。此外,本发明中的存储索引结构可以根据用户需求进行构建,以满足不同程度的查询需求与索引结构空间占用的平衡,具有很好的扩展性。
附图说明
图1是本发明中可扩展存储索引的架构示意图;
图2是本发明云环境下可扩展存储索引结构的构建和查询方法的流程图;
图3是本发明中KD树构建的流程图;
图4是本实施例中数据集;
图5是图4所示数据集的KD树;
图6是单键值查询的具体实例流程图;
图7是范围查询的具体实例流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明中可扩展存储索引的架构示意图。如图1所示,本发明中可扩展存储索引采用KD树型结构,每个结点对应一个范围信息,用于划分该结点左、右子结点所对应的数据范围。该树型结构的深度D可以自定义,从而控制每个叶子节点对应的数据集大小。例如,当完整数据集大小为1亿条记录,如果设置KD树的深度为11,那么该KD树具有1024个叶子结点,则每个叶子节点对应约1万条记录;如果设置KD树的深度为21,那么该KD树具有1048576个叶子节点,每个叶子节点对应约100条记录。KD树中的内部结点,只是起到路由作用,因此可以称之为路由结点(Router-Node)。叶子结点对应多条记录的集合,本发明称每个叶子结点对应的数据结构为一个叶子节点数据集(LNS,Leaf-Node-Set)。
根据KD树的特点,本发明提出了云环境下可扩展存储索引结构的构建和查询方法。图2是本发明云环境下可扩展存储索引结构的构建和查询方法的流程图。如图2所示,本发明云环境下可扩展存储索引结构的构建和查询方法包括以下步骤:
S201:构建KD树:
对于本发明而言,首先需要建立云环境下可扩展存储索引结构,也就是数据集的KD树。记数据集中每个数据为Xi=(xi1,xi2,…xij,…,xiL),其中i=1,2,…,N,j=1,2,…,L,其中N表示数据集中数据数量,L表示数据维数。由于数据的维数一般较多,因此为了简化KD树构建流程,本发明根据需要从L维数据中选择M维数据作为索引维,这些索引维即可视为数据集的特征维,然后根据这些索引维来构建KD树。图3是本发明中KD树构建的流程图。如图3所示,本发明中KD树构建包括以下步骤:
S301:确定根结点:
令层数d=1,根据数据集中每个数据的第1维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为根结点。显然此时就可以将整个数据集划分为两个子集。
S302:令d=d+1。
S303:判断是否d<D,D表示预设的KD树的深度,如果是,进入步骤S304,否则KD树构建完成。
S304:确定第d层对应数据维:
计算Ad=d%M,%表示取余,那么第d层的数据划分以数据中的第Ad维索引维作为划分标准。
S305:确定第d层结点:
对于第d-1层中的每个结点,从数据集获取该结点对应的左子集和右子集范围内的所有数据,对于左子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为左子集的根结点;同样地,对于右子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为右子集的根结点;返回步骤S302。
图4是本实施例中数据集。如图4所示,本实施例中共有8条数据,每个数据有三个维度。由于本实施例仅作示例,数据集中数据较少,设置KD树的层数为3,将三个维度均作为索引维。该数据集的KD树构建过程如下:
第一层选择第1维索引维(A)作为划分标准,筛选得到第1维索引维数据1,5,7,2,11,8,12,9的中位数为7,故选择(7,12,1.2)作为根结点;根据A<7和A>7将数据分为两个子集,其中左子集包括:(1,14,0.1)、(5,18,0.5)和(2,9,1.3),右子集包括:(11,14,0.8)、(8,11,0.5)、(12,12,0.7)和(9,10,0.4)。第二层选择第2维索引维(B)作为划分标准,对第1层结点的左、右子集进行划分。因为14,18,9的中位数为14,所以选择(1,14,0.1)做为第二层左子树的根结点;对于右子集,因为14,11,12,10的中位数是11,所以选择(8,11,0.5)做为右子树的根结点。第三层应当选择第3维(C)作为划分标准,但是由于本实施例中数据较少,无法对第三层结点实现划分,因此本实施例中无法确定第3维的划分范围。
图5是图4所示数据集的KD树。如图5所示,以以(2,9,1.3)所示的叶子结点为例:该结点表示的空间范围为A<=7&&B<=14,那么其Key值=“A<=7&&B<=14”。
S202:存储叶子节点数据集:
获取步骤S201中构建得到的KD树中各个叶子结点数据集并存储。由于当数据集较大时,那么每个叶子结点数据集中包含的数量可能较多,因此不方便把数据直接存储在叶子结点对应的数据结构中。而由于KD树中每个叶子结点都有一个对应的范围信息,且各不相同,因此本发明将叶子结点对应的范围信息作为RowKey值,将叶子结点数据集中所有数据存储指针构成的数组作为Value值,将索引数据存储在HBase中。此外,为了便于用户查询,对于各个叶子结点数据集,还可以根据预设的统计指标函数计算出该叶子结点数据集对应的统计指标并存储。统计指标函数一般可以包括求和函数SUM、平均值函数AVG或者用户自定义的函数UDFs。
以图5所示KD树为例。本实施例中,设置Value为一个二维数组,其中Value[0]是对所对应的数据的SUM(A)值,Value[1]是对所对应的数据的AVERAGE(B)值。那么以Key=“A<=7&&B<=14”为例,则对应的Value[0]=10,Value[1]=35/3。在HBase中插入记录,(“A<=7&&B<=14”,Position:[Pointerto(7,12,1.2),Pointerto(2,9,1.3),Pointerto(1,14,0.1)]。
S203:建立Bloom Filter结构:
对整个数据集建立其Bloom Filter结构并存储。Bloom Filter结构是一种二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员。
S204:单键值查询:
由于本发明对于整个数据集建立了Bloom Filter结构,由于Bloom Filter结构可以对海量数据起到过滤作用,因此在本发明中以Bloom Filter结构作为单键值查询的入口,从而快速检测数据存在与否。本发明中单键值查询的具体方法为:
通过Bloom Filter结构检测所查询数据是否存在,如果未检测到数据存在,则报告数据不存在,如果存在,则根据KD树的路由定位到数据所在的叶子结点的Key值,然后根据Key值提取到对应的数据集,再进行精确查询,提取数据并返回或报告数据不存在。
图6是单键值查询的具体实例流程图。如图6所示,设置要查找的数据为(5,18,0.5)。首先通过Bloom Filter检测数据是否存在,此处假设数据存在,那么通过KD-Tree的路由,找到所对应的叶子结点,提取其Key=“A<=7&&B>14”,然后根据Key值到HBase中检索数据,成功查询得到该数据,由提取数据并返回。
S205:范围查询:
在基于key-value模型存取数据的云数据库系统中,数据表经过分片后,分布式存储在服务器集群上。在海量数据情况下,对所有数据分区进行遍历是非常耗时的,通过索引可以有效过滤不符合查询条件的数据,仅对有可能包含查询结果的分区进行扫描,可以有效提高数据检索的性能。
因为Bloom Filter结构并不支持范围查找,因此本发明在范围查找的入口即KD树本身。本发明中范围查询的具体方法为:
根据KD树对数据在所选维度上的划分,确定查询范围对应的子树;获取该子树下所有叶子结点对应的Key值,如果要查询的结果是Value中已经预先计算好的函数值,则直接从对应Value中提取数据并返回,如果不是预先计算的函数值,则通过HBase提取得到所有Key值对应的数据,根据范围查询条件筛选出相应数据,然后计算得到函数值后返回结果。
图7是范围查询的具体实例流程图。如图7所示,假设查询语句为:
如果没有建立索引结构,现有的MapReduce执行过程如下:首先执行一个Map任务,一个Map任务可以创建多个mapper,对数据进行遍历,找出在范围内的数据,然后执行聚合函数,返回查询结果。
而在本发明所建立KD树索引结构中,通过KD树的路由得知,查询的范围落在第一和第二个叶子结点上,查询两个结点对应的所有数据,因为共有4个叶子结点,因此实际需要扫描的数据只占原数据的1/2左右。因为要返回的是SUM(C),所以首先查找前两个叶子结点的LNS的Value值,如果存在SUM(C),则直接返回,否则合并提取两个叶子结点的数据并过滤出所对应的所有数据中满足条件的数据,即(7,12,1.2)、(2,9,1.3)和(1,14,0.1)三条记录,计算后返回。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种云环境下可扩展存储索引结构的构建和查询方法,其特征在于,包括以下步骤:
S1:记数据集中每个数据为Xi=(xi1,xi2,…xij,…,xiL),其中i=1,2,…,N,j=1,2,…,L,其中N表示数据集中数据数量,L表示数据维数,根据需要从L维数据中选择M维数据作为索引维,然后根据以下方法构建KD树:
S1.1:令层数d=1,根据数据集中每个数据的第1维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为根结点;
S1.2:令d=d+1;
S1.3:如果d<D,D表示预设的KD树的深度,进入步骤S1.4,否则KD树构建完成;
S1.4:计算Ad=d%M,%表示取余;
S1.5:对于第d-1层中的每个结点,从数据集获取该结点对应的左子集和右子集范围内的所有数据,对于左子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为左子集的根结点;对于右子集,根据每个数据的第Ad维索引维数据,筛选得到其中位数,将该中位数所对应的数据作为右子集的根结点;返回步骤S1.2;
S2:获取步骤S201中构建得到的KD树中各个叶子结点数据集并存储,将叶子结点对应的范围信息作为RowKey,将叶子结点数据集中所有数据存储指针构成的数组作为Value值,将索引数据存储在HBase中;
S3:对整个数据集建立其Bloom Filter结构并存储;
S4:在单健值查询时,采用以下方法:
通过数据集的Bloom Filter结构检测所查询数据是否存在,如果未检测到数据存在,则报告数据不存在,如果存在,则根据KD树的路由定位到数据所在的叶子结点的Key值,然后根据Key值提取到对应的数据集,再进行精确查询,提取数据并返回或报告数据不存在;
S5:在范围查询时,采用以下方法:
根据KD树对数据在所选维度上的划分,确定查询范围对应的子树;获取该子树下所有叶子结点对应的Key值,如果要查询的结果是Value中已经预先计算好的函数值,则直接从对应Value中提取数据并返回,如果不是预先计算的函数值,则通过HBase提取得到所有Key值对应的数据,根据范围查询条件筛选出相应数据,然后计算得到函数值后返回结果。
2.根据权利要求1所对应的云环境下可扩展存储索引结构的索引构建和查询方法,其特征在于,步骤S2中对于各个叶子结点数据集,根据预设的统计指标函数计算出该叶子结点数据集对应的统计指标并存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610944106.6A CN106503196B (zh) | 2016-10-26 | 2016-10-26 | 云环境下可扩展存储索引结构的构建和查询方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610944106.6A CN106503196B (zh) | 2016-10-26 | 2016-10-26 | 云环境下可扩展存储索引结构的构建和查询方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106503196A true CN106503196A (zh) | 2017-03-15 |
CN106503196B CN106503196B (zh) | 2019-05-03 |
Family
ID=58321915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610944106.6A Expired - Fee Related CN106503196B (zh) | 2016-10-26 | 2016-10-26 | 云环境下可扩展存储索引结构的构建和查询方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106503196B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107908722A (zh) * | 2017-11-14 | 2018-04-13 | 华东师范大学 | 基于距离的逆向k排名查询方法 |
CN108038118A (zh) * | 2017-11-01 | 2018-05-15 | 华东师范大学 | 一种位置优先并维护最小外接矩形的kd树构建方法 |
CN108052796A (zh) * | 2017-12-26 | 2018-05-18 | 云南大学 | 基于集成学习的全球人类mtDNA发育树分类查询方法 |
CN108121807A (zh) * | 2017-12-26 | 2018-06-05 | 云南大学 | Hadoop环境下多维索引结构OBF-Index的实现方法 |
CN108875401A (zh) * | 2018-04-17 | 2018-11-23 | 安徽师范大学 | 一种基于改进kd树数据结构的隐私保护方法 |
CN109783441A (zh) * | 2018-12-24 | 2019-05-21 | 南京中新赛克科技有限责任公司 | 基于Bloom Filter的海量数据查询方法 |
CN110751404A (zh) * | 2019-10-24 | 2020-02-04 | 云南大学 | 一种支持结构与行为融合的过程模型索引构建与检索方法 |
CN111858606A (zh) * | 2020-07-24 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置和电子设备 |
CN112181991A (zh) * | 2020-10-15 | 2021-01-05 | 中国人民解放军国防科技大学 | 基于快速构建kd树的地球模拟系统网格重映射方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110124834A (ko) * | 2010-05-12 | 2011-11-18 | 삼성전자주식회사 | 하드웨어를 이용한 케이디 트리 생성 방법 및 장치 |
CN102750367A (zh) * | 2011-12-29 | 2012-10-24 | 中华电信股份有限公司 | 在云端平台的大数据检核系统及其方法 |
CN104541276A (zh) * | 2012-08-07 | 2015-04-22 | 皇家飞利浦有限公司 | 使用基于树的空间数据结构对基因数据集的群体分类 |
CN105787126A (zh) * | 2016-03-29 | 2016-07-20 | Tcl集团股份有限公司 | k-d树生成方法和k-d树生成装置 |
-
2016
- 2016-10-26 CN CN201610944106.6A patent/CN106503196B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110124834A (ko) * | 2010-05-12 | 2011-11-18 | 삼성전자주식회사 | 하드웨어를 이용한 케이디 트리 생성 방법 및 장치 |
CN102750367A (zh) * | 2011-12-29 | 2012-10-24 | 中华电信股份有限公司 | 在云端平台的大数据检核系统及其方法 |
CN104541276A (zh) * | 2012-08-07 | 2015-04-22 | 皇家飞利浦有限公司 | 使用基于树的空间数据结构对基因数据集的群体分类 |
CN105787126A (zh) * | 2016-03-29 | 2016-07-20 | Tcl集团股份有限公司 | k-d树生成方法和k-d树生成装置 |
Non-Patent Citations (1)
Title |
---|
吴涵 等: "基于kd树的多维索引在数据库中的运用", 《自动化技术与应用》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038118A (zh) * | 2017-11-01 | 2018-05-15 | 华东师范大学 | 一种位置优先并维护最小外接矩形的kd树构建方法 |
CN108038118B (zh) * | 2017-11-01 | 2021-10-15 | 华东师范大学 | 一种位置优先并维护最小外接矩形的kd树构建方法 |
CN107908722A (zh) * | 2017-11-14 | 2018-04-13 | 华东师范大学 | 基于距离的逆向k排名查询方法 |
CN107908722B (zh) * | 2017-11-14 | 2021-10-12 | 华东师范大学 | 基于距离的逆向k排名查询方法 |
CN108052796A (zh) * | 2017-12-26 | 2018-05-18 | 云南大学 | 基于集成学习的全球人类mtDNA发育树分类查询方法 |
CN108121807A (zh) * | 2017-12-26 | 2018-06-05 | 云南大学 | Hadoop环境下多维索引结构OBF-Index的实现方法 |
CN108052796B (zh) * | 2017-12-26 | 2021-07-13 | 云南大学 | 基于集成学习的全球人类mtDNA发育树分类查询方法 |
CN108875401A (zh) * | 2018-04-17 | 2018-11-23 | 安徽师范大学 | 一种基于改进kd树数据结构的隐私保护方法 |
CN109783441A (zh) * | 2018-12-24 | 2019-05-21 | 南京中新赛克科技有限责任公司 | 基于Bloom Filter的海量数据查询方法 |
CN110751404A (zh) * | 2019-10-24 | 2020-02-04 | 云南大学 | 一种支持结构与行为融合的过程模型索引构建与检索方法 |
CN111858606A (zh) * | 2020-07-24 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置和电子设备 |
CN112181991A (zh) * | 2020-10-15 | 2021-01-05 | 中国人民解放军国防科技大学 | 基于快速构建kd树的地球模拟系统网格重映射方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106503196B (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106503196B (zh) | 云环境下可扩展存储索引结构的构建和查询方法 | |
CN106528773B (zh) | 一种基于Spark平台支持空间数据管理的图计算系统及方法 | |
CN107220285B (zh) | 面向海量轨迹点数据的时空索引构建方法 | |
CN104199986B (zh) | 基于hbase和geohash的矢量数据空间索引方法 | |
CN104281701B (zh) | 分布式多尺度空间数据查询方法及系统 | |
CN102521386B (zh) | 基于集群存储的空间元数据分组方法 | |
CN106933833B (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN108932347B (zh) | 一种分布式环境下基于社会感知的空间关键字查询方法 | |
CN102063486A (zh) | 一种面向多维数据管理的云计算平台查询处理方法 | |
CN106528787A (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
CN106209989A (zh) | 基于spark平台的空间数据并行计算系统及其方法 | |
CN109033340A (zh) | 一种基于Spark平台的点云K邻域的搜索方法及装置 | |
CN105760469A (zh) | 云计算环境下基于倒排lsh的高维近似图象检索方法 | |
CN110147377A (zh) | 大规模空间数据环境下基于二级索引的通用查询算法 | |
CN108205562B (zh) | 地理信息系统的定位数据存储、检索方法及其装置 | |
CN105760468A (zh) | 移动环境下基于倒排位置敏感哈希索引的大规模图象查询系统 | |
CN109063194A (zh) | 基于空间编码的数据检索方法及装置 | |
CN107506490A (zh) | 滑动窗口下基于位置top‑k关键词查询的优先查询算法及系统 | |
CN107633068A (zh) | 滑动窗口下基于位置top‑k关键词查询的快速索引方法及系统 | |
CN109190052B (zh) | 一种分布式环境下基于社会感知的空间索引方法 | |
Azri et al. | Dendrogram clustering for 3D data analytics in smart city | |
Hong et al. | Efficient R-tree based indexing scheme for server-centric cloud storage system | |
CN109635069A (zh) | 一种基于信息熵的地理空间数据自组织方法 | |
US9600538B2 (en) | Systems and methods for managing large volumes of data in a digital earth environment | |
US20150293971A1 (en) | Distributed queries over geometric objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190503 Termination date: 20211026 |