CN109657080A - 高分卫星遥感数据的分布式处理方法/系统和介质 - Google Patents
高分卫星遥感数据的分布式处理方法/系统和介质 Download PDFInfo
- Publication number
- CN109657080A CN109657080A CN201811427290.2A CN201811427290A CN109657080A CN 109657080 A CN109657080 A CN 109657080A CN 201811427290 A CN201811427290 A CN 201811427290A CN 109657080 A CN109657080 A CN 109657080A
- Authority
- CN
- China
- Prior art keywords
- high score
- remote sensing
- distributed
- product
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013459 approach Methods 0.000 title claims abstract description 38
- 238000013480 data collection Methods 0.000 claims abstract description 141
- 239000011159 matrix material Substances 0.000 claims abstract description 92
- 238000013507 mapping Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 57
- 239000012634 fragment Substances 0.000 claims abstract description 28
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000013519 translation Methods 0.000 claims abstract description 11
- 230000003595 spectral effect Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 22
- 239000012141 concentrate Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 239000004744 fabric Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种高分卫星遥感数据的分布式处理方法/系统和介质，分布式处理方法包括：检索高分卫星遥感数据的索引，将索引转换成为对应的第一分布式数据集，分发到各个计算节点；若为0级卫星产品时，生成0级产品对应的图像；若为1级卫星产品，解析高分卫星遥感数据，并转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；合并第二分布式数据集和第三分布式数据集，对合并后的分布式数据集重新分片及再次分发；对分发下去的分布式数据集进行计算图像映射矩阵的操作，以生成1级卫星产品对应的图像。本发明极大提高数据处理和产品生产的速度，减少硬盘数据读写的时间，本发明能够做到迅速完成计算处理。
Description
技术领域
本发明属于卫星通信技术领域，涉及一种处理方法和系统，特别是涉及一种高分卫星遥感数据的分布式处理方法/系统及介质。
背景技术
近些年来卫星技术的提高，卫星数据的数据量不断提高，达到TB级甚至PB级，而客户对卫星产品的查询和使用在准确易用、迅速响应等方面提出了更高的要求。这代表着传统的、小规模的、自动化程度不高的、串行的卫星数据处理方法难以满足客户数据量大、处理复杂、及时的卫星遥感图像和产品需求。现有的高分卫星遥感产品生产方法中，大部分都是进行小规模生产或者大量长时间生产，只能满足历史数据和产品的下载，无法达到及时对下传数据进行处理。
因此，如何提供一种高分卫星遥感数据的分布式处理方法/系统和介质，以解决现有高分卫星遥感产品生产方法大部分都是进行小规模生产或者大量长时间生产，只满足历史数据和产品的下载，导致无法达到及时对下传数据进行处理等缺陷，实已成为本领域技术人员亟待解决技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高分卫星遥感数据的分布式处理方法/系统和介质，用于解决现有高分卫星遥感产品生产方法大部分都是进行小规模生产或者大量长时间生产，只满足历史数据和产品的下载，导致无法达到及时对下传数据进行处理的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种高分卫星遥感数据的分布式处理方法，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。
于本发明的一实施例中，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。
于本发明的一实施例中，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中的字节数据；所述将将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集的步骤包括：将根据检索条件查询出数据库中的高分卫星遥感数据的索引转换为数据类型为字节类型的第一分布式数据集。
于本发明的一实施例中，若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像的步骤包括从预设数据库中查询满足检索条件的一条卫星数据，解析这条卫星数据，得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；其中，所述0级产品对应的图像为单帧高分图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据的步骤包括：读取该高分卫星遥感数据，根据不同谱段对该高分卫星遥感数据进行切割，以获取包含多个谱段的高分卫星遥感数据；该高分卫星遥感数据的类型为Mat类型数组。
于本发明的一实施例中，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集的步骤为：将解析后的高分卫星遥感数据通过一对一转换为带有数据序号的第二分布式数据集，并将数据序号加1后形成第三分布式数据集。
于本发明的一实施例中，所述根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点步骤包括：通过重写数据集本身的Map操作将合并后的分布式数据集进行变换操作，以获取相邻帧的特征点集合和两两空间映射的映射矩阵集合，同时判断重写的Map操作是否有报错，若有，则认为两帧图像没有重叠区域，中断数据处理并将图像结果分为两部分并标记；若无报错时，对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合，将形成的特征点数组集合和映射矩阵数组集合再次分发至各个计算节点。
于本发明的一实施例中，所述对再次分发下去的分布式数据集进行计算相邻帧映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像以生成1级卫星产品对应的图像的步骤包括：按顺序将所述映射矩阵数组集合中第n个映射矩阵数组中各个矩阵转换为前n个对应映射矩阵的乘积，重新将所述映射矩阵数组集合进行分片，生成映射矩阵分布式数据集，在所述映射矩阵分布式数据集的序号1位置处插入一个单位矩阵，形成新的映射矩阵分布式数据集，根据序号将新的映射矩阵分布式数据集与所述第二分布式数据集进行配对，配对后的分布式数据集中每一帧的多个谱段图像都对应着每一个变形到第一帧多个谱段图像坐标系下的映射矩阵数据集中的矩阵；对所述第二分布式数据集中每一帧的每个谱段图像根据对应的映射矩阵进行变形，得到在同一坐标系下的高分卫星图像数据分布式数据集，将高分卫星图像数据分布式数据集中各个分片合并，以返回完整数据集合；在得到同一坐标系下的高分卫星图像数据的数据集合后，按顺序从特征点数组集合中选择每一帧的最佳匹配特征点，在每一帧处理后的高分图像上根据特征点位置进行拼接，拼接完所有的高分卫星图像数据后，获取多个光谱谱段下的高分卫星1级图像矩阵。
于本发明的一实施例中，所述高分卫星遥感数据的分布式处理方法还包括：将包含多个谱段的图像矩阵根据顺序写入卫星图像实例，以生成1级卫星产品对应的图像。
本发明另一方面提供一种高分卫星遥感数据的分布式系统，在运行所述处理系统之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的处理系统包括：检索模块，用于根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引；转换模块，用于将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并通过分发模块将第一分布式数据集分发到各个计算节点；第一图像生成模块，用于若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；第二图像生成模块，用于若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次通过所述分发模块分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。
本发明又一方面提供一种介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至8中任一项所述高分卫星遥感数据的分布式处理方法。
如上所述，本发明所述的高分卫星遥感数据的分布式处理方法/系统和介质，具有以下有益效果：
本发明所述高分卫星遥感数据的分布式处理方法/系统和介质针对高分卫星遥感数据处理和产品生产，将产品图像矩阵写入图片步骤前的整个过程使用分布式计算平台(Spark)进行并行计算，极大提高了数据处理和产品生产的速度。而由于Spark的计算中间结果保存在内存上，减少了硬盘数据读写的时间，使得本发明中的方法运用到系统后能够做到迅速完成计算处理。
附图说明
图1显示为本发明的高分卫星遥感数据的分布式处理方法于一实施例中的流程示意图。
图2显示为本发明的高分卫星遥感数据的分布式处理方法中S15的流程示意图。
图3显示为本发明的高分卫星遥感数据的分布式处理系统于一实施例中的原理结构示意图。
元件标号说明
3 高分卫星遥感数据的分布式处理系统
31 检索模块
32 转换模块
33 分发模块
34 第一图像生成模块
35 第二图像生成模块
S11～S17 步骤
S151～S153 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种高分卫星遥感数据的分布式处理方法，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：
根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；
若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；
若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。
以下将结合图示对本实施例所提供的高分卫星遥感数据的分布式处理方法进行详细描述。在执行所述高分卫星遥感数据的分布式处理方法之前，用户在客户端上选择用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别等，进行高分卫星遥感数据查询。且在所述分布式计算平台控制模块内新建SparkContext用于提交数据、任务和配置Spark(分布式计算平台)计算的入口。
在本实施例中，所述分布式计算平台需新建SparkContext，将用户所选择的高分卫星遥感数据的需求和图像产品的产品参数传送给包括多个计算节点的集群。
请参阅图1，显示为高分卫星遥感数据的分布式处理方法于一实施例中的流程示意图。如图1所示，所述高分卫星遥感数据的分布式处理方法具体包括以下步骤：
S11，所述后台从Hbase中根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引(即高分卫星遥感数据Rowkey，Rowkey为Hbase数据表中每一行的名字或者说标志，是一个字符串)，将检索到的高分卫星遥感数据的索引转换为第一分布式数据集，并分发到各个计算节点。在本实施例中，Hbase为基于hadoop分布式集群的数据存储的数据库，主要存储形式为hbase数据表。在本实施例中，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。
在本实施例中，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中字节数据。
在本实施例中，将根据检索条件查询出预设数据库Hbase中高分卫星遥感数据Rowkey通过SparkContext转换为数据类型为字节类型的第一分布式数据集。
具体地，各个计算节点新建HbaseContext，通过parallelize方法将Rowkey转换成对应的RDD，并将转换成对应的RDD分发至各个计算节点。
S12，若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像。
具体地，从预设数据库中查询满足检索条件的一条高分卫星遥感数据，解析所述高分卫星遥感数据，以得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；所述0级产品对应的图像为单帧高分图像。
S13，若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据。1级卫星产品是多张拍摄的图像按时间顺序拼接融合后的图像。具体地，读取该高分卫星遥感数据，根据不同谱段对数据进行切割，以获取包含多个(例如，6个)谱段的高分卫星遥感数据。在本实施例中，该高分卫星遥感数据的类型为Mat类型数组。
S14，将解析的高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点。
具体地，将所述第一分布式数据集通过一对一(即通过mapToPair，所述mapToPair是指将RDD每个分片中单个数据变为一组数据，及增加序号的操作)转换为带有数据序号的分布式数据集(RDD)，并将数据序号加1后形成第三分布式数据集。在本实施例中，数据序号加1的分布式数据集为第三分布式数据集。
根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点。
具体地，通过重写RDD的预设Map操作(在本实施例中，预设Map操作是针对相邻帧的图像组合分布式数据集的典型变换操作，重写这个操作将特征点计算函数和映射函数应用到相邻帧的图像组合分布式数据集中的每个元素，并产生结果集合)将合并后的分布式数据集进行变换操作，以获取相邻帧的特征点集合和两两空间映射的映射矩阵集合，同时对预设判断重写的Map操作进行是否有报错(例如，在相邻帧中无法查找到匹配特征点)，若有，则认为两帧图像没有重叠区域，中断数据处理并将图像结果分为两部分并标记。若无报错时，对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合(对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合称为collect操作)，将形成的特征点数组集合和映射矩阵数组集合再次分发至各个计算节点。
S15，对再次分发下去的分布式数据集进行计算相邻帧映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。
请参阅图2，显示为S15的流程示意图。如图3所示，所述S15包括以下步骤：
S151，按顺序将所述映射矩阵数组集合中第n个映射矩阵数组中各个矩阵转换为前n个对应映射矩阵的乘积，利用SparkContext重新将所述映射矩阵数组集合进行分片，生成映射矩阵分布式数据集，在所述映射矩阵分布式数据集的序号1位置处插入一个单位矩阵，形成新的映射矩阵分布式数据集，根据序号将新的映射矩阵分布式数据集与所述第二分布式数据集进行配对，配对后的分布式数据集中每一帧的多个(例如，6个)谱段图像都对应着每一个变形到第一帧多个(例如，6个)谱段图像坐标系下的映射矩阵数据集中的矩阵。
S152，对所述第二分布式数据集中每一帧的每个谱段图像根据对应的映射矩阵进行变形，得到在同一坐标系下的高分卫星图像数据分布式数据集，通过collect操作，即将高分卫星图像数据分布式数据集中各个分片合并，以返回完整数据集合；
S153，在得到同一坐标系下的高分卫星图像数据的数据集后，按顺序从特征点数组集合中选择每一帧的最佳匹配特征点，在每一帧处理后的高分图像上根据特征点位置进行拼接，拼接完所有的高分卫星图像后，获取多个光谱谱段下的高分卫星1级卫星产品图像矩阵。
S16，将包含多个(例如，6个)谱段的图像矩阵返回所述后台，根据顺序写入卫星图像实例，以生成1级卫星产品各个谱段对应的灰度值图像，同时生成将RGB三个谱段的图像融合成的彩色图像。
S17，返回生成的0级产品对应的图像或1级卫星产品对应的图像。
在本实施例中，针对2级以上产品会有对应的处理方法。
本实施例还提供一种介质(亦称为计算机可读存储介质)，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述高分卫星遥感数据的分布式处理方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例高分卫星遥感数据的分布式处理方法针对高分卫星遥感数据处理和产品生产，将产品图像矩阵写入图片步骤前的整个过程使用分布式(Spark)进行并行计算，极大提高了数据处理和产品生产的速度。而由于Spark的计算中间结果保存在内存上，减少了硬盘数据读写的时间，使得本发明中的方法运用到系统后能够做到迅速完成计算处理。
实施例二
本实施例提供一种高分卫星遥感数据的分布式处理系统，在运行所述处理系统之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理系统包括：
检索模块，用于根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引；
转换模块，用于将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并通过分发模块将第一分布式数据集分发到各个计算节点；
第一图像生成模块，用于若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；
第二图像生成模块，用于若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次通过所述分发模块分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。以下将结合图示对本实施例所提供的高分卫星遥感数据的分布式处理系统进行详细描述。需要说明的是，应理解以下处理系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由下述处理系统的某一个处理元件调用并执行以下x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以下各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以下这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以下某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
请参阅图3，显示为高分卫星遥感数据的分布式处理系统于一实施例中原理结构示意图。如图3所示，所述高分卫星遥感数据的分布式处理系统3包括：检索模块31、转换模块32、分发模块33、第一图像生成模块34及第二图像生成模块35。
所述检索模块31用于从Hbase中根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引(即高分卫星遥感数据Rowkey，Rowkey为Hbase数据表中每一行的名字或者说标志，是一个字符串)。
与所述检索模块31耦合的转换模块32用于将检索到的高分卫星遥感数据的索引转换为第一分布式数据集，并通过所述分发模块33将转换的第一分布式数据集分发到各个计算节点。
在本实施例中，Hbase为基于hadoop分布式集群的数据存储的数据库，主要存储形式为hbase数据表。在本实施例中，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。
在本实施例中，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中字节数据。
在本实施例中，将根据检索条件查询出预设数据库Hbase中高分卫星遥感数据Rowkey通过SparkContext转换为数据类型为字节类型的第一分布式数据集。
具体地，各个计算节点新建HbaseContext，通过parallelize方法将Rowkey转换成对应的RDD，并将转换成对应的RDD分发至各个计算节点。
与所述转换模块32和分发模块33耦合的第一图像生成模块34用于若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像。
具体地，第一图像生成模块34用于从预设数据库中查询满足检索条件的一条高分卫星遥感数据，解析所述高分卫星遥感数据，以得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；所述0级产品对应的图像为单帧高分图像。于本实施例中，0级卫星产品是指高分相机一次拍摄的图像。
与所述转换模块32和分发模块33耦合的第二图像生成模块35用于若图像产品的产品类型为1级卫星产品，解析查找的对应的高分卫星遥感数据。1级卫星产品是多张拍摄的图像按时间顺序拼接融合后的图像。具体地，读取该高分卫星遥感数据，根据不同谱段对数据进行切割，以获取包含多个(例如，6个)谱段的高分卫星遥感数据。在本实施例中，该高分卫星遥感数据的类型为Mat类型数组。
所述第二图像生成模块35还用于将解析的高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次通过所述分发模块33分发至各个计算节点。
具体地，所述第二图像生成模块35用于将解析后的高分卫星遥感数据通过一对一(即通过mapToPair，所述mapToPair是指将RDD每个分片中单个数据变为一组数据，及增加序号的操作)转换为带有数据序号的分布式数据集(RDD)，并将数据序号加1后形成第三分布式数据集。在本实施例中，数据序号加1的分布式数据集为第三分布式数据集。
所述第二图像生成模块35用于根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点。
具体地，所述第二图像生成模块35通过重写RDD的预设Map操作(在本实施例中，预设Map操作是针对相邻帧的图像组合分布式数据集的典型变换操作，重写Map操作将特征点计算函数和映射函数应用到相邻帧的图像组合分布式数据集中的每个元素，并产生结果集合)将合并后的分布式数据集进行变换操作，以获取相邻帧的特征点集合和两两空间映射的映射矩阵集合，同时对预设判断重写的Map操作进行是否有报错(例如，在相邻帧中无法查找到匹配特征点)，若有，则认为两帧图像没有重叠区域，中断数据处理并将图像结果分为两部分并标记。若无报错时，对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合(对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合称为collect操作)，将形成的特征点数组集合和映射矩阵数组集合再次通过所述分发模块33分发至各个计算节点。对再次分发下去的分布式数据集进行计算相邻帧映射矩阵和特征点，以生成1级卫星产品对应的图像。
具体地，所述第二图像生成模块35还用于按顺序将所述映射矩阵数组集合中第n个映射矩阵数组中各个矩阵转换为前n个对应映射矩阵的乘积，利用SparkContext重新将所述映射矩阵数组集合进行分片，生成映射矩阵分布式数据集，在所述映射矩阵分布式数据集的序号1位置处插入一个单位矩阵，形成新的映射矩阵分布式数据集，根据序号将新的映射矩阵分布式数据集与所述第二分布式数据集进行配对，配对后的分布式数据集中每一帧的多个(例如，6个)谱段图像都对应着每一个变形到第一帧多个(例如，6个)谱段图像坐标系下的映射矩阵数据集中的矩阵。
所述第二图像生成模块35对所述第二分布式数据集中每一帧的每个谱段图像根据对应的映射矩阵进行变形，得到在同一坐标系下的高分卫星图像数据分布式数据集，通过collect操作，即将高分卫星图像数据分布式数据集中各个分片合并，以返回完整数据集合，即同一坐标系下的高分卫星图像数据的数据集；
所述第二图像生成模块35在得到同一坐标系下的高分卫星图像数据的数据集后，按顺序从特征点数组集合中选择每一帧的最佳匹配特征点，在每一帧处理后的高分图像上根据特征点位置进行拼接，拼接完所有的高分卫星图像后，获取高分卫星1级级图像矩阵。
将包含多个(例如，6个)谱段的图像矩阵返回所述后台，所述第二图像生成模块35根据顺序写入卫星图像实例，以生成1级卫星产品多个谱段对应的灰度值图像，同时生成将RGB三个谱段的图像融合成的彩色图像。
本发明所述的基于Spark的高分卫星遥感数据的处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明提供的高分卫星遥感数据的分布式处理系统可以实现本发明所述的高分卫星遥感数据的分布式处理方法，但本发明所述的高分卫星遥感数据的分布式处理方法的实现装置包括但不限于本实施例列举的高分卫星遥感数据的分布式处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述高分卫星遥感数据的分布式处理方法/系统及介质针对高分卫星遥感数据处理和产品生产，将产品图像矩阵写入图片步骤前的整个过程使用分布式(Spark)进行并行计算，极大提高了数据处理和产品生产的速度。而由于Spark的计算中间结果保存在内存上，减少了硬盘数据读写的时间，使得本发明中的方法运用到系统后能够做到迅速完成计算处理。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种高分卫星遥感数据的分布式处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：
根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；
若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；
若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像以生成1级卫星产品对应的图像。
2.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。
3.根据权利要求2所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中的字节数据；所述将将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集的步骤包括：
将根据检索条件查询出数据库中的高分卫星遥感数据的索引转换为数据类型为字节类型的第一分布式数据集。
4.根据权利要求3所述的高分卫星遥感数据的分布式处理方法，其特征在于，
若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像的步骤包括从预设数据库中查询满足检索条件的一条卫星数据，解析这条卫星数据，得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；其中，所述0级产品对应的图像为单帧高分图像；
若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据的步骤包括：
读取该高分卫星遥感数据，根据不同谱段对该高分卫星遥感数据进行切割，以获取包含多个谱段的高分卫星遥感数据；该高分卫星遥感数据的类型为Mat类型数组。
5.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集的步骤为：
将解析后的高分卫星遥感数据通过一对一转换为带有数据序号的第二分布式数据集，并将数据序号加1后形成第三分布式数据集。
6.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点步骤包括：
通过重写数据集本身的Map操作将合并后的分布式数据集进行变换操作，以获取相邻帧的特征点集合和两两空间映射的映射矩阵集合，同时判断重写的Map操作是否有报错，若有，则认为两帧图像没有重叠区域，中断数据处理并将图像结果分为两部分并标记；若无报错时，对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合，将形成的特征点数组集合和映射矩阵数组集合再次分发至各个计算节点。
7.根据权利要求6所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述对再次分发下去的分布式数据集进行计算相邻帧映射矩阵和特征点操作，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像的步骤包括：
按顺序将所述映射矩阵数组集合中第n个映射矩阵数组中各个矩阵转换为前n个对应映射矩阵的乘积，重新将所述映射矩阵数组集合进行分片，生成映射矩阵分布式数据集，在所述映射矩阵分布式数据集的序号1位置处插入一个单位矩阵，形成新的映射矩阵分布式数据集，根据序号将新的映射矩阵分布式数据集与所述第二分布式数据集进行配对，配对后的分布式数据集中每一帧的多个谱段图像都对应着每一个变形到第一帧多个谱段图像坐标系下的映射矩阵数据集中的矩阵；
对所述第二分布式数据集中每一帧的每个谱段图像根据对应的映射矩阵进行变形，得到在同一坐标系下的高分卫星图像数据分布式数据集，将高分卫星图像数据分布式数据集中各个分片合并，以返回完整数据集合；
在得到同一坐标系下的高分卫星图像数据的数据集合后，按顺序从特征点数组集合中选择每一帧的最佳匹配特征点，在每一帧处理后的高分图像上根据特征点位置进行拼接，拼接完所有的高分卫星图像数据后，获取多个光谱谱段下的高分卫星1级图像矩阵。
8.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述高分卫星遥感数据的分布式处理方法还包括：
将包含多个谱段的图像矩阵根据顺序写入卫星图像实例，以生成1级卫星产品对应的图像。
9.一种高分卫星遥感数据的分布式系统，其特征在于，在运行所述处理系统之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的处理系统包括：
检索模块，用于根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引；
转换模块，用于将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并通过分发模块将第一分布式数据集分发到各个计算节点；
第一图像生成模块，用于若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；
第二图像生成模块，用于若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次通过所述分发模块分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。
10.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8中任一项所述高分卫星遥感数据的分布式处理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811147186 | 2018-09-29 | ||
| CN2018111471868 | 2018-09-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109657080A true CN109657080A (zh) | 2019-04-19 |
| CN109657080B CN109657080B (zh) | 2022-09-13 |
Family
ID=66111590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811427290.2A Active CN109657080B (zh) | 2018-09-29 | 2018-11-27 | 高分卫星遥感数据的分布式处理方法/系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657080B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365521A (zh) * | 2020-12-08 | 2021-02-12 | 萱闱(北京)生物科技有限公司 | 终端设备的速度监测方法、装置、介质和计算设备 |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| CN115100541A (zh) * | 2022-07-21 | 2022-09-23 | 文娟 | 一种卫星遥感数据的处理方法、系统及云平台 |
| CN116761084A (zh) * | 2023-08-22 | 2023-09-15 | 中国科学院空天信息创新研究院 | 一种遥感卫星双线阵、三线阵相机全载荷分景方法 |
| CN116881308A (zh) * | 2023-07-31 | 2023-10-13 | 北京和德宇航技术有限公司 | 一种卫星遥测数据的显示方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019803A (zh) * | 2012-11-20 | 2013-04-03 | 中国资源卫星应用中心 | 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统 |
| US20150219744A1 (en) * | 2014-02-04 | 2015-08-06 | University Of Florida Research Foundation, Inc. | Robust integrated precision high-speed satellite attitude determination and control system (adcs) |
| CN106845452A (zh) * | 2017-02-23 | 2017-06-13 | 中国公路工程咨询集团有限公司 | 基于北斗的高分遥感数据处理方法 |
-
2018
- 2018-11-27 CN CN201811427290.2A patent/CN109657080B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019803A (zh) * | 2012-11-20 | 2013-04-03 | 中国资源卫星应用中心 | 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统 |
| US20150219744A1 (en) * | 2014-02-04 | 2015-08-06 | University Of Florida Research Foundation, Inc. | Robust integrated precision high-speed satellite attitude determination and control system (adcs) |
| CN106845452A (zh) * | 2017-02-23 | 2017-06-13 | 中国公路工程咨询集团有限公司 | 基于北斗的高分遥感数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郑若冰等: "利用HTCondor高通量计算框架处理MODIS时间序列遥感影像", 《科研信息化技术与应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365521A (zh) * | 2020-12-08 | 2021-02-12 | 萱闱(北京)生物科技有限公司 | 终端设备的速度监测方法、装置、介质和计算设备 |
| CN112632303A (zh) * | 2020-12-30 | 2021-04-09 | 北京超图软件股份有限公司 | 一种影像数据的分布式存储方法、分析方法及装置 |
| CN115100541A (zh) * | 2022-07-21 | 2022-09-23 | 文娟 | 一种卫星遥感数据的处理方法、系统及云平台 |
| CN116881308A (zh) * | 2023-07-31 | 2023-10-13 | 北京和德宇航技术有限公司 | 一种卫星遥测数据的显示方法、装置、设备及存储介质 |
| CN116761084A (zh) * | 2023-08-22 | 2023-09-15 | 中国科学院空天信息创新研究院 | 一种遥感卫星双线阵、三线阵相机全载荷分景方法 |
| CN116761084B (zh) * | 2023-08-22 | 2023-11-10 | 中国科学院空天信息创新研究院 | 一种遥感卫星双线阵、三线阵相机全载荷分景方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109657080B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657080A (zh) | 高分卫星遥感数据的分布式处理方法/系统和介质 | |
| CN106372114B (zh) | 一种基于大数据的联机分析处理系统和方法 | |
| CN105677683B (zh) | 批量数据查询方法和装置 | |
| Weng et al. | Homefinder revisited: Finding ideal homes with reachability-centric multi-criteria decision making | |
| CN104699718B (zh) | 用于快速引入业务数据的方法和装置 | |
| CN103597503B (zh) | 用于具有提高的搜索效率的售前预订系统的方法和系统 | |
| CN107679192A (zh) | 多集群协同数据处理方法、系统、存储介质及设备 | |
| US20160253364A1 (en) | System for linking diverse data systems | |
| CN109146447A (zh) | 区块链透明分片方法、装置及系统 | |
| CN103902537B (zh) | 多业务的日志数据存储处理和查询系统及其方法 | |
| US20140108414A1 (en) | Scalable distributed processing of rdf data | |
| CN104361113B (zh) | 一种内存‑闪存混合存储模式下的olap查询优化方法 | |
| CN109995650B (zh) | 基于sdn网络的多维约束下路径计算方法及装置 | |
| CN109067859A (zh) | 一种面向跨域协同服务的双层云架构系统及实现方法 | |
| CN108764350A (zh) | 目标识别方法、装置及电子设备 | |
| CN110795567A (zh) | 一种知识图谱平台 | |
| CN103631922A (zh) | 基于Hadoop集群的大规模Web信息提取方法及系统 | |
| CN106157192A (zh) | 一种行程服务方法和装置 | |
| CN106228263A (zh) | 基于大数据的物流信息化方法 | |
| CN104933621A (zh) | 一种担保圈的大数据分析系统和方法 | |
| CN103916478B (zh) | 基于分布式系统的流式构建数据方的方法和装置 | |
| CN107870949A (zh) | 数据分析作业依赖关系生成方法和系统 | |
| US20190362006A1 (en) | Dual purpose zone maps | |
| CN108241539A (zh) | 基于分布式系统的交互式大数据查询方法、装置、存储介质和终端设备 | |
| CN104731969A (zh) | 分布式环境下海量数据连接聚集查询方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |