CN112269797A - 一种卫星遥感数据在异构计算平台上的多维查询方法 - Google Patents
一种卫星遥感数据在异构计算平台上的多维查询方法 Download PDFInfo
- Publication number
- CN112269797A CN112269797A CN202011169388.XA CN202011169388A CN112269797A CN 112269797 A CN112269797 A CN 112269797A CN 202011169388 A CN202011169388 A CN 202011169388A CN 112269797 A CN112269797 A CN 112269797A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- dimension
- computing platform
- multidimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims description 57
- 238000013507 mapping Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 17
- 239000012634 fragment Substances 0.000 description 14
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种卫星遥感数据在异构计算平台上的多维查询方法，该方法包括：将遥感卫星多维数据集进行数据分布；优化多维索引结构，规范原始主键，采用连续数值主键替代原始主键，屏蔽原始维数据中主键的语义信息，更新原始事实表上的外键，消除事实数据多维索引的语义信息；面向异构计算平台的OLAP多维数据集进行分布式存储；将针对遥感数据的OLAP多维数据集查询处理任务分解为三个不同计算平台上的子任务。通过该方法，减少了对GPU内存容量的需求；设计简单；实现了异构计算平台协同计算，充分利用了硬件处理能力，降低了总体硬件成本，提高了综合OLAP查询处理性能。
Description
技术领域
本发明涉及遥感卫星技术领域，具体来说，涉及一种卫星遥感数据在异构计算平台上的多维查询方法。
背景技术
卫星遥感数据具有多维属性，在时间、轨道号、载荷、通道以及位置等多个维度上对应遥感观测数值，构成典型的多维数据集。在数据处理及数据服务过程中需要针对遥感数据集完成多维查询以获取相关数据子集。卫星遥感数据对应规模庞大的数据立方体，OLAP查询处理过程中需要占用大量存储与计算资源，消耗较长运算时间。
传统上数据库操作依赖通用CPU执行OLAP查询处理任务，CPU核心数量及主频性能制约了大数据量实时OLAP查询处理性能。
发明内容
针对相关技术中的上述技术问题，本发明提出一种卫星遥感数据在异构计算平台上的多维查询方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种卫星遥感数据在异构计算平台上的多维查询方法，该方法包括：
S1：将遥感卫星多维数据集面向CPU端数据库平台、GPU高性能计算平台和分布式处理平台进行数据分布，根据计算平台的计算特征和负载数据处理特征，配置数据集，划分数据集，制定数据集存储策略；
所述步骤S1进一步包括：
S11：将遥感多维数据集划分为维数据、多维索引数据和事实数据三个子集，其中，维数据包括维度描述信息、层次信息，多维索引数据包括事实数据向维的映射索引，事实数据包括数值型遥感测量值；
S2：优化多维索引结构，规范原始主键，采用连续数值主键替代原始主键，屏蔽原始维数据中主键的语义信息，更新原始事实表上的外键，消除事实数据多维索引的语义信息；
S3：面向异构计算平台的OLAP多维数据集进行分布式存储，采用异构分布式存储技术，由不同的数据处理平台对OLAP多维数据子集存储，其中，OLAP表示联机分析处理；
S4：将针对遥感数据的OLAP多维数据集查询处理任务分解为三个不同计算平台上的子任务，其中，所述三个平台为数据库平台、GPU计算平台、分布式数据存储平台。
进一步的，所述步骤S3中，CPU端数据库平台存储维表数据和事实表的事实数据；CPU端数据库引擎管理维表的更新、代理键更新；在CPU端对事实数据缓冲区进行管理，用于存储新插入的事实数据。
进一步的，所述步骤S3中，GPU内存存储三类数据：维向量、多维索引列和向量索引列，其中，时间维、载荷/通道维等维向量与维表等长；多维索引数据对应事实表外键列；载荷+通道维度索引、位置维度索引存储在GPU计算平台中，在时间维水平分片划分多维索引数据子集；向量索引列与多维索引列等长，存储事实表外键记录对应的分组ID，当事实表外键没有对应的查询结果输出时，事实表外键列向量索引单元设置为空。
进一步的，所述步骤S3中，事实数据度量列按照与GPU计算平台相同的水平分片方式存储在分布式计算存储服务云计算平台中，其中，事实数据度量列包括数值数据。
进一步的，所述步骤S4中，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量。
进一步的，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量，包括：
在已存储的多维数据库集上按SQL命令where子句相关维表上的GROUP-BY属性映射出多维数据立方体，其中，GROUP-BY表示分组汇总，where为数据库中的一个指令，每个维表上的分组属性映射为多维数据立方体的维；
在维表上过滤后的记录的分组属性值上建立一个数组数据字典表，其中，所述数据字典表以数组下标作为主键列，表示为多维数据立方体各维上的多维下标；
将分组属性ID映射到维向量上，其中，不满足where过滤条件的记录位置设置为空，满足where过滤条件的记录位置的设置为分组属性ID。
进一步的，所述步骤S4中，所述GPU计算平台在各GPU加速卡的数据分片上接收维映射结果集，并行执行GPU上外键数据分片上的星形连接操作，以维向量为输入，执行基于向量引用的星形连接操作，在星形连接操作中，将满足星形连接条件的各维表上的分组属性ID迭代计算为多维数据立方体的多维数组下标值，以一维数组下标形式存储在向量索引中。
进一步的，所述步骤S4中，所述分布式数据存储平台的度量数据分片结合向量索引分片，基于向量索引对度量数据分片执行聚集计算，其中，当有多个存储计算处理子节点时，在各子节点上进行各度量数据分片上的聚集计算，进行各节点间的计算，归并结果并返回数据库平台，根据分组属性字典表解析向量的语义信息，生成查询结果集返回查询应用端。
本发明的有益效果：通过该方法，达到了：
（1）通过划分数据集和分布计算任务使GPU内存只需要存储少量外键数据，相比于全部数据转移到GPU内存存储和处理的技术方案，减少了对GPU内存容量的需求；
（2）将OLAP查询处理划分为三个微引擎，每个微引擎任务清晰，设计简单；
（3）实现了异构计算平台协同计算，优化分配不同数据集和不同计算负载，更充分利用了硬件处理能力，降低了总体硬件成本，提高了综合OLAP查询处理性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的一种卫星遥感数据在异构计算平台上的多维查询方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的一种卫星遥感数据在异构计算平台上的多维查询方法，包括：
S1：将遥感卫星多维数据集面向CPU端数据库平台、GPU高性能计算平台和分布式处理平台进行数据分布，根据计算平台的计算特征和负载数据处理特征，配置数据集，划分数据集，制定数据集存储策略；
步骤S1进一步包括：
S11：将遥感多维数据集划分为维数据、多维索引数据和事实数据三个子集，其中，维数据包括维度描述信息、层次信息，多维索引数据包括事实数据向维的映射索引，事实数据包括数值型遥感测量值；
S2：优化多维索引结构，规范原始主键，采用连续数值主键替代原始主键，屏蔽原始维数据中主键的语义信息，更新原始事实表上的外键，消除事实数据多维索引的语义信息；
S3：面向异构计算平台的OLAP多维数据集进行分布式存储，采用异构分布式存储技术，由不同的数据处理平台对OLAP多维数据子集存储，其中，OLAP表示联机分析处理；
S4：将针对遥感数据的OLAP多维数据集查询处理任务分解为三个不同计算平台上的子任务，其中，所述三个平台为数据库平台、GPU计算平台、分布式数据存储平台。
在本发明的一个具体实施例中，所述步骤S3中，CPU端数据库平台存储维表数据和事实表的事实数据；CPU端数据库引擎管理维表的更新、代理键更新；在CPU端对事实数据缓冲区进行管理，用于存储新插入的事实数据。
在本发明的一个具体实施例中，所述步骤S3中，GPU内存存储三类数据：维向量、多维索引列和向量索引列，其中，时间维、载荷/通道维等维向量与维表等长；多维索引数据对应事实表外键列；载荷+通道维度索引、位置维度索引存储在GPU计算平台中，在时间维水平分片划分多维索引数据子集；向量索引列与多维索引列等长，存储事实表外键记录对应的分组ID，当事实表外键没有对应的查询结果输出时，事实表外键列向量索引单元设置为空。
在本发明的一个具体实施例中，所述步骤S3中，事实数据度量列按照与GPU计算平台相同的水平分片方式存储在分布式计算存储服务云计算平台中，其中，事实数据度量列包括数值数据。
在本发明的一个具体实施例中，所述步骤S4中，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量。
在本发明的一个具体实施例中，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量，包括：
在已存储的多维数据库集上按SQL命令where子句相关维表上的GROUP-BY属性映射出多维数据立方体，其中，GROUP-BY表示分组汇总，where为数据库中的一个指令，每个维表上的分组属性映射为多维数据立方体的维；
在维表上过滤后的记录的分组属性值上建立一个数组数据字典表，其中，所述数据字典表以数组下标作为主键列，表示为多维数据立方体各维上的多维下标；
将分组属性ID映射到维向量上，其中，不满足where过滤条件的记录位置设置为空，满足where过滤条件的记录位置的设置为分组属性ID。
在本发明的一个具体实施例中，所述步骤S4中，所述GPU计算平台在各GPU加速卡的数据分片上接收维映射结果集，并行执行GPU上外键数据分片上的星形连接操作，以维向量为输入，执行基于向量引用的星形连接操作，在星形连接操作中，将满足星形连接条件的各维表上的分组属性ID迭代计算为多维数据立方体的多维数组下标值，以一维数组下标形式存储在向量索引中。
在本发明的一个具体实施例中，所述步骤S4中，所述分布式数据存储平台的度量数据分片结合向量索引分片，基于向量索引对度量数据分片执行聚集计算，其中，当有多个存储计算处理子节点时，在各子节点上进行各度量数据分片上的聚集计算，进行各节点间的计算，归并结果并返回数据库平台，根据分组属性字典表解析向量的语义信息，生成查询结果集返回查询应用端。
为了方便理解本发明的上述技术方案，以下对本发明的上述技术方案进行详细说明。
本发明采取以下技术方案：
一种遥感卫星数据在GPU异构计算平台的OLAP查询处理技术，该方法包括以下步骤：
1）面向异构计算平台的数据分布。其目标是将遥感卫星多维数据集面向CPU端数据库平台、GPU高性能计算平台和分布式处理平台进行数据分布，根据计算平台的计算特征和负载数据处理特征配置数据集的划分与存储策略。具体方法是：将遥感多维数据集划分为维数据、多维索引数据和事实数据三个子集，维数据中包含维度描述信息与层次信息，作为多维数据集的元数据；多维索引数据中包含事实数据向维的映射索引，通过多维索引计算实现从关系数据向多维空间的映射；事实数据包含数值型遥感测量值；
2）优化多维索引结构，所有维表用连续增长的自然数作为维数据的代理键以规范原始主键为统一形式，即，用AUTO_INCREMENTAL类型的连续数值（1，2，3，…）作为主键，替代原始主键以屏蔽原始维数据中主键的语义信息。并更新原始事实表上的外键作为多维索引数据集，消除事实数据多维索引的语义信息。一方面防止通过多维索引信息解读事实数据，另一方面降低多维索引计算代价。
3）面向异构计算平台的OLAP数据集分布式存储。本发明面向由数据库平台、GPU高性能计算平台、分布式处理平台构成的异构计算平台，采用异构分布式存储技术，由不同的数据处理平台实现对OLAP数据子集的存储。具体方法为：
①CPU端数据库平台存储维表数据和事实表的事实数据。由CPU端数据库引擎管理维表的更新、代理键更新等任务。在CPU端进行事实数据缓冲区管理，用于存储新插入的事实数据；
②GPU内存存储三类数据：维向量、多维索引列和向量索引列。其中，时间维、载荷/通道维等维向量与维表等长，存储维记录对应的查询分组ID；多维索引数据对应事实表外键列。载荷+通道维度索引、位置维度索引存储于GPU计算平台，在时间维水平分片划分多维索引数据子集。向量索引列是与多维索引列（即事实表外键列）等长的向量，存储事实表外键记录对应的分组ID，当事实表外键没有对应的查询结果输出时，该向量索引单元设置为空；
③事实数据度量列按照与GPU计算平台相同的水平分片方式存储于分布式计算存储服务云计算平台，事实数据度量列中只包含数值数据，不包含语义数据，其上执行基于向量索引分片的向量聚集计算；
4）将针对这些遥感数据的OLAP查询处理任务分解为三个不同计算平台上的子任务：
①数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP查询对应的维向量，即：在已存储的多维数据库集上按SQL命令where子句相关维表上的GROUP-BY属性映射出多维数据立方体cube，每个维表上的分组属性映射为多维数据立方体的维，在维表上过滤后的记录的分组属性值上建立一个数组数据字典表，该数据字典表以数组下标作为主键列（ID），表示为多维数据立方体cube各维上的多维下标，然后将分组属性ID映射到维向量，其中不满足where过滤条件的记录位置设置为NULL，满足的则设置为分组属性ID。
②GPU计算平台在各GPU加速卡的数据分片上接收维映射结果集，并行执行GPU上外键数据分片上的星形连接操作，以维向量为输入，执行基于向量引用的星形连接操作，满足星形连接条件的星形连接操作中各维表上的分组属性ID迭代计算为多维数据立方体cube的多维数组下标值，以一维数组下标形式存储，存储于向量索引中，作为星形连接计算的输出数据集；
③分布式数据存储平台的度量数据分片结合向量索引分片，对度量数据分片执行基于向量索引的聚集计算，若有多个存储计算处理子节点，可在各子节点上完成各度量数据分片上的聚集计算，再进行各节点间的计算结果归并。最终归并结果返回数据库平台，根据分组属性字典表解析向量的语义信息，生成查询结果集返回查询应用端。
综上所述，借助于本发明的上述技术方案，通过该方法，达到了：通过划分数据集和分布计算任务使GPU内存只需要存储少量外键数据，相比于全部数据转移到GPU内存存储和处理的技术方案，减少了对GPU内存容量的需求；将OLAP查询处理划分为三个微引擎，每个微引擎任务清晰，设计简单；实现了异构计算平台协同计算，优化分配不同数据集和不同计算负载，更充分利用了硬件处理能力，降低了总体硬件成本，提高了综合OLAP查询处理性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，包括：
S1：将遥感卫星多维数据集面向CPU端数据库平台、GPU高性能计算平台和分布式处理平台进行数据分布，根据计算平台的计算特征和负载数据处理特征，配置数据集，划分数据集，制定数据集存储策略；
所述步骤S1进一步包括：
S11：将遥感多维数据集划分为维数据、多维索引数据和事实数据三个子集，其中，维数据包括维度描述信息、层次信息，多维索引数据包括事实数据向维的映射索引，事实数据包括数值型遥感测量值；
S2：优化多维索引结构，规范原始主键，采用连续数值主键替代原始主键，屏蔽原始维数据中主键的语义信息，更新原始事实表上的外键，消除事实数据多维索引的语义信息；
S3：面向异构计算平台的OLAP多维数据集进行分布式存储，采用异构分布式存储技术，由不同的数据处理平台对OLAP多维数据子集存储，其中，OLAP表示联机分析处理；
S4：将针对遥感数据的OLAP多维数据集查询处理任务分解为三个不同计算平台上的子任务，其中，所述三个平台为数据库平台、GPU计算平台、分布式数据存储平台。
2.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S3中，CPU端数据库平台存储维表数据和事实表的事实数据；CPU端数据库引擎管理维表的更新、代理键更新；在CPU端对事实数据缓冲区进行管理，用于存储新插入的事实数据。
3.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S3中，GPU内存存储三类数据：维向量、多维索引列和向量索引列，其中，时间维、载荷/通道维等维向量与维表等长；多维索引数据对应事实表外键列；载荷+通道维度索引、位置维度索引存储在GPU计算平台中，在时间维水平分片划分多维索引数据子集；向量索引列与多维索引列等长，存储事实表外键记录对应的分组ID，当事实表外键没有对应的查询结果输出时，事实表外键列向量索引单元设置为空。
4.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S3中，事实数据度量列按照与GPU计算平台相同的水平分片方式存储在分布式计算存储服务云计算平台中，其中，事实数据度量列包括数值数据。
5.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S4中，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量。
6.根据权利要求5所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述数据库平台对SQL命令进行改写，根据输入的SQL命令创建OLAP多维数据集查询对应的维向量，包括：
在已存储的多维数据库集上按SQL命令where子句相关维表上的GROUP-BY属性映射出多维数据立方体，其中，GROUP-BY表示分组汇总，where为数据库中的一个指令，每个维表上的分组属性映射为多维数据立方体的维；
在维表上过滤后的记录的分组属性值上建立一个数组数据字典表，其中，所述数据字典表以数组下标作为主键列，表示为多维数据立方体各维上的多维下标；
将分组属性ID映射到维向量上，其中，不满足where过滤条件的记录位置设置为空，满足where过滤条件的记录位置的设置为分组属性ID。
7.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S4中，所述GPU计算平台在各GPU加速卡的数据分片上接收维映射结果集，并行执行GPU上外键数据分片上的星形连接操作，以维向量为输入，执行基于向量引用的星形连接操作，在星形连接操作中，将满足星形连接条件的各维表上的分组属性ID迭代计算为多维数据立方体的多维数组下标值，以一维数组下标形式存储在向量索引中。
8.根据权利要求1所述的一种卫星遥感数据在异构计算平台上的多维查询方法，其特征在于，所述步骤S4中，所述分布式数据存储平台的度量数据分片结合向量索引分片，基于向量索引对度量数据分片执行聚集计算，其中，当有多个存储计算处理子节点时，在各子节点上进行各度量数据分片上的聚集计算，进行各节点间的计算，归并结果并返回数据库平台，根据分组属性字典表解析向量的语义信息，生成查询结果集返回查询应用端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011169388.XA CN112269797B (zh) | 2020-10-28 | 2020-10-28 | 一种卫星遥感数据在异构计算平台上的多维查询方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011169388.XA CN112269797B (zh) | 2020-10-28 | 2020-10-28 | 一种卫星遥感数据在异构计算平台上的多维查询方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112269797A true CN112269797A (zh) | 2021-01-26 |
| CN112269797B CN112269797B (zh) | 2024-02-27 |
Family
ID=74344948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011169388.XA Active CN112269797B (zh) | 2020-10-28 | 2020-10-28 | 一种卫星遥感数据在异构计算平台上的多维查询方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112269797B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115934759A (zh) * | 2022-11-30 | 2023-04-07 | 二十一世纪空间技术应用股份有限公司 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426523A (zh) * | 2010-10-21 | 2012-04-25 | 微软公司 | 多维对象 |
| CN104361118A (zh) * | 2014-12-01 | 2015-02-18 | 中国人民大学 | 一种适应协处理器的混合olap查询处理方法 |
| CN105122288A (zh) * | 2013-02-28 | 2015-12-02 | Lg电子株式会社 | 用于处理多媒体商务服务的设备和方法 |
| CN105701200A (zh) * | 2016-01-12 | 2016-06-22 | 中国人民大学 | 一种内存云计算平台上的数据仓库安全olap方法 |
| CN107408114A (zh) * | 2014-12-22 | 2017-11-28 | 亚马逊技术有限公司 | 基于事务访问模式识别联结关系 |
| CA2970686A1 (en) * | 2016-06-14 | 2017-12-14 | Royal Bank Of Canada | Verification of data processes in a network of computing resources |
| CN109754256A (zh) * | 2017-11-08 | 2019-05-14 | 徐蔚 | 基于码链的模型、装置、系统、方法和应用 |
| CN110765368A (zh) * | 2018-12-29 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 用于语义检索的人工智能系统和方法 |
-
2020
- 2020-10-28 CN CN202011169388.XA patent/CN112269797B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426523A (zh) * | 2010-10-21 | 2012-04-25 | 微软公司 | 多维对象 |
| CN105122288A (zh) * | 2013-02-28 | 2015-12-02 | Lg电子株式会社 | 用于处理多媒体商务服务的设备和方法 |
| CN104361118A (zh) * | 2014-12-01 | 2015-02-18 | 中国人民大学 | 一种适应协处理器的混合olap查询处理方法 |
| CN107408114A (zh) * | 2014-12-22 | 2017-11-28 | 亚马逊技术有限公司 | 基于事务访问模式识别联结关系 |
| CN105701200A (zh) * | 2016-01-12 | 2016-06-22 | 中国人民大学 | 一种内存云计算平台上的数据仓库安全olap方法 |
| CA2970686A1 (en) * | 2016-06-14 | 2017-12-14 | Royal Bank Of Canada | Verification of data processes in a network of computing resources |
| CN109754256A (zh) * | 2017-11-08 | 2019-05-14 | 徐蔚 | 基于码链的模型、装置、系统、方法和应用 |
| CN110765368A (zh) * | 2018-12-29 | 2020-02-07 | 北京嘀嘀无限科技发展有限公司 | 用于语义检索的人工智能系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| MAZIN MOHAMED ALKATHIRI: "geo-spatial big data mining techniques", INTERNATIONAL JOURNAL OF COMPUTER APPLICATIONS, 29 February 2016 (2016-02-29), pages 28 - 36 * |
| 朱建章;石强;陈凤娥;史晓丹;董泽民;秦前清;: "遥感大数据研究现状与发展趋势", 中国图象图形学报, vol. 21, no. 11, 16 November 2016 (2016-11-16), pages 1425 - 1439 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115934759A (zh) * | 2022-11-30 | 2023-04-07 | 二十一世纪空间技术应用股份有限公司 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
| CN115934759B (zh) * | 2022-11-30 | 2023-12-22 | 二十一世纪空间技术应用股份有限公司 | 一种面向海量多源异构卫星数据查询的加速计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112269797B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230084389A1 (en) | System and method for providing bottom-up aggregation in a multidimensional database environment | |
| US20200073876A1 (en) | Scalable indexing architecture | |
| CN102737033B (zh) | 数据处理设备及其数据处理方法 | |
| US20120109888A1 (en) | Data partitioning method of distributed parallel database system | |
| US11797509B2 (en) | Hash multi-table join implementation method based on grouping vector | |
| Khan et al. | SQL Database with physical database tuning technique and NoSQL graph database comparisons | |
| CN103942342A (zh) | 一种内存数据库oltp&olap并发查询优化方法 | |
| US11755284B2 (en) | Methods and systems for improved data retrieval and sorting | |
| US20100235344A1 (en) | Mechanism for utilizing partitioning pruning techniques for xml indexes | |
| US10977280B2 (en) | Systems and methods for memory optimization interest-driven business intelligence systems | |
| US11947596B2 (en) | Index machine | |
| US20230315728A1 (en) | Methods and systems for undetermined query analytics | |
| US20240028615A1 (en) | Methods and systems for indexlet based aggregation | |
| CN112269797B (zh) | 一种卫星遥感数据在异构计算平台上的多维查询方法 | |
| Hasan et al. | Data transformation from sql to nosql mongodb based on r programming language | |
| CN110597929A (zh) | 一种基于MapReduce的并行数据立方构建方法 | |
| CN111046054A (zh) | 一种电力营销业务数据分析的方法和系统 | |
| Li et al. | SP-phoenix: a massive spatial point data management system based on phoenix | |
| US11947509B2 (en) | Storing and querying knowledge graphs in column stores | |
| Vaisman et al. | Physical Data Warehouse Design | |
| Alami et al. | Entity resolution in nosql data warehouse | |
| US20230070159A1 (en) | Database modification using a script component | |
| US20240070136A1 (en) | Storing and querying knowledge graphs in column stores using a global dictionary | |
| Wang et al. | Research on Parallel Computing Method of Hydrological Data Cube | |
| Zhou | Parallel Real-Time OLAP on Cloud Platforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |