CN114969199A - 遥感数据的处理方法、装置、系统以及存储介质 - Google Patents

Abstract

本申请公开了一种遥感数据的处理方法、装置、系统以及存储介质。其中，该方法包括：通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。本申请解决了关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较的技术问题。

Description

遥感数据的处理方法、装置、系统以及存储介质

技术领域

本申请涉及遥感数据的处理领域，具体而言，涉及一种遥感数据的处理方法、装置、系统以及存储介质。

背景技术

目前，在跨区域访问数据源以便获取遥感数据时，需要通过与该遥感数据类型对应的服务节点对数据源进行访问，并对获取到的遥感数据进行处理，将处理后的遥感数据进行存储，在此过程中，不同类型的遥感数据需要部署专门的服务节点，当数据源增加新的类型的遥感数据时，则需要对新增加的遥感数据类型部署对应的服务节点，其成本较高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种遥感数据的处理方法、装置、系统以及存储介质，以至少解决相关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较低的技术问题。

根据本申请实施例的一个方面，提供了一种遥感数据的处理方法，包括：通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

根据本申请实施例的一个方面，还提供了一种遥感数据的处理装置，包括：获取模块，用于通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；转发模块，用于通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；预处理模块，用于通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；存储模块，用于通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

根据本申请实施例的一个方面，还提供了一种遥感数据的处理系统，包括：目标服务节点，用于从数据源获取第一遥感数据，并转发第一遥感数据，其中，数据源和目标服务节点位于第一区域；目标处理平台，用于对第一遥感数据进行预处理，得到预处理结果，并对预处理结果进行存储，其中，目标处理平台位于第二区域，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一个实施例的遥感数据的处理方法。

根据本申请实施例的另一方面，还提供了一种计算机终端，包括：存储器和处理器，处理器用于运行程序，其中，程序运行时执行上述任意一个实施例的遥感数据的处理方法。

在本申请实施例中，首先通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理，实现了提高遥感数据的处理效率，容易注意到的是，可以通过第一区域的目标服务节点获取并转发第一遥感数据至第二区域的目标处理平台，由于服务节点仅作转发数据的工作，因此，不需要针对不同的类型设置对应的服务节点，可以通过统一的目标处理平台对第一遥感数据进行预处理，从而提高数据的处理效率，并且存储后的遥感数据是经过预处理后的数据，便于目标处理平台可以直接使用，不需要再做额外的处理，进而解决了关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a是根据现有技术的一种基于服务节点的分散独立部署采集示意图；

图1b是根据现有技术的一种独立节点的示意图；

图2是根据本申请实施例的一种用于实现遥感数据的处理方法的计算机终端(或移动设备)的硬件结构框图；

图3是根据本申请实施例的一种计算环境的结构框图；

图4是根据本申请实施例的一种服务网格的结构框图；

图5是根据本申请实施例的一种遥感数据的处理方法的流程图；

图6是根据本申请实施例的一种遥感数据的处理系统的结构框图；

图7是根据本申请实施例的一种遥感数据的处理装置的示意图；

图8根据本申请实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

大数据计算服务(MaxCompute，简称为ODPS)，为一种海量数据处理平台，主要服务于批量结构化数据的存储和计算，可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。

弹性容器实例(Elastic Container Instance，简称ECI)，为一种敏捷安全的无服务器容器运行服务。无需管理底层服务器，只需要提供打包好的镜像，即可运行容器。

云服务器(Elastic Compute Service，简称ECS)，为一种简单高效、处理能力可弹性伸缩的计算服务，可快速构建更稳定、安全的应用，提升运维效率，降低计算成本。

时空资产目录(Spatio Temporal Assets Catalogs，简称为STAC)，旨在标准化地理空间资产元数据的结构化和查询方式，是表示某个地点和时间的地球信息的任何文件。

分布式：分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。

近年来随着卫星遥感及空间信息服务行业需求的增长和鼓励政策的不断落地，国内遥感卫星的发射数量逐年增加，其中，遥感市场持续快速增长。海量卫星数据高效获取、天地一体化的空间信息网络为人类提供了不同维度的观测及应用，在数据层面上已经体现了数据量巨大、种类繁多、动态多变、时序价值的大数据特征。遥感大数据是针对传统遥感数据处理和信息管理方式的一种全新实践，它以多源遥感数据为主综合其他多源辅助数据，运用大数据思维与手段，聚焦于更高效、高可用、易管理、低延迟、高吞吐的遥感数据处理方式。遥感大数据的处理逐渐走向智能化，以深度学习为代表的智能算法在计算机视觉领域已经取得了突破性进展，目前主要在目标检测和遥感覆盖分类方面研究较多。

图1a是根据现有技术的一种基于服务节点的分散独立部署采集示意图，如图1a所示整体架构为两层架构，以不同的网络环境为分界，第一层基于国外的网络环境，主要目的在于通过部署的独立节点访问数据源、拆分数据集、生成Task、下载调度执行、将文件上，并通过独立节点对遥感数据进行处理，然后将处理后的文件上传至国外的对象存储服务(Object Storage Service，简称为OSS)中进行存储；第二层基于国内的网络环境，主要目的在于利用OSS全球加速特性，将国外的OSS数据传到国内进行后续的访问和处理。

图1b是根据现有技术的一种独立节点的示意图，ECS国外节点对于数据源具有比较稳定的访问优势，可以基于数据源提供的官方开放接口(Open Api)进行数据的检索、分类，把分类结果封装成可执行下载的任务列表，最后利用数据库记录任务的元数据情况和执行状态。数据库的元数据记录可以作为协调多个不同ECS节点的控制点，节点内部的程序基于元数据信息完成定时器(Scheduler)工作并进行任务分发和执行。遥感数据文件通过任务优先下载到ECS本地磁盘，待文件归档完成后利用脚本上传至国外OSS。最后，基于全球加速产品建立跨区域OSS加速隧道同步数据到国内OSS。

现有技术中存在几个维护、可用性的问题，由于不同数据源的数据集访问、下载方式都有所不同，新增数据源则需要重新开发并重新部署所有ECS采集节点，迭代周期较长，各个ECS之间相互独立部署，仅仅通过Mqsql元数据表进行关联；缺乏任务通知、状态同步、失败重试等必要的处理机制，ECS节点上部署的程序集成了调度逻辑，系统复杂度较高，单节点出问题不好排查，整体来说对于开发、部署、运维存在较大成本，缺少数据预处理流程，仅仅只是原始数据的下载和存储。

本申请提供了一种高可用、易维护、低成本的遥感数据采集、预处理方式，可以利用Proxy(代理模式)弥补跨区域网络不稳定的问题，并且轻量级的Proxy无状态节点可以随数据量的增加横向扩展，充分利用ODPS大数据平台的分布式计算、存储的技术及能力，对数据的下载、预处理进行统一管理；以SQL+UDF为基础，提供简单的开发、扩展能力，利用MQ消息队列作为通知解耦中间件，降低系统之间的耦合，便于各自系统的独立运行，基于统一共识的STAC协议，提供遥感数据的元数据服务、数据管理能力，可以和公开遥感数据服务产品规范无缝对接。

实施例1

根据本申请实施例，还提供了一种遥感数据的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图2示出了一种用于实现遥感数据的处理方法的计算机终端(或移动设备)的硬件结构框图。如图2所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的遥感数据的处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的遥感数据的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

图2示出的硬件结构框图，不仅可以作为上述计算机终端10(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图3以框图示出了使用上述图2所示的计算机终端10(或移动设备)作为计算环境201中计算节点的一种实施例。图3示出了一种计算环境的结构框图，如图3所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。每个计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1,220-2,220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。

终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务220(计算环境201中提供的一个或多个服务)的供应和/或请求。

服务220是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务220。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(OS)，以便多个工作负载可以在单个操作系统实例上运行。

在基于容器虚拟化的一个实施例中，服务220的若干容器可以被组装成一个POD(例如，Kubernetes POD)。举例来说，如图3所示，服务220-2可以配备一个或多个POD 240-1,240-2，…，240-N(统称为POD 240)。每个POD 240可以包括代理245和一个或多个容器242-1,242-2，…，242-M(统称为容器242)。POD 240中一个或多个容器242处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务220也可以陪陪类似于POD 240的POD。

在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务220，执行一个服务220的一个或多个功能坑你需要调用另一个服务220的一个或多个功能。如图3所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。

上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。

另一种可选实施例中，图4以框图示出了使用上述图2所示的计算机终端10(或移动设备)作为服务网格的一种实施例。图4示出了一种服务网格的结构框图，如图4所示，该服务网格300主要用于方便多个微服务之间进行安全和可靠的通信，微服务是指将应用程序分解为多个较小的服务或者实例，并分布在不同的集群/机器上运行。

如图4所示，微服务可以包括应用服务实例A和应用服务实例B，应用服务实例A和应用服务实例B形成服务网格300的功能应用层。在一种实施方式中，应用服务实例A以容器/进程308的形式运行在机器/工作负载容器组314(POD)，应用服务实例B以容器/进程310的形式运行在机器/工作负载容器组316(POD)。

在一种实施方式中，应用服务实例A可以是商品查询服务，应用服务实例B可以是商品下单服务。

如图4所示，应用服务实例A和网格代理(sidecar)303共存于机器工作负载容器组614，应用服务实例B和网格代理305共存于机器工作负载容器314。网格代理303和网格代理305形成服务网格300的数据平面层(data plane)。其中，网格代理303和网格代理305分别以容器/进程304,容器/进程304可以接收请求312，以用于进行商品查询服务，网格代理306的形式在运行，并且网格代理303和应用服务实例A之间可以双向通信，网格代理305和应用服务实例B之间可以双向通信。此外，网格代理303和网格代理305之间还可以双向通信。

在一种实施方式中，应用服务实例A的所有流量都通过网格代理303被路由到合适的目的地，应用服务实例B的所有网络流量都通过网格代理305被路由到合适的目的地。需要说明的是，在此提及的网络流量包括但不限于超文本传输协议(Hyper Text TransferProtocol，简称为HTTP),表述性状态传递(Representational State Transfer,简称为REST),高性能、通用的开源框架(gRPC),开源的内存中的数据结构存储系统(Redis)等形式。

在一种实施方式中，可以通过为服务网格300中的代理(Envoy)编写自定义的过滤器(Filter)来实现扩展数据平面层的功能，服务网格代理配置可以是为了使服务网格正确地代理服务流量，实现服务互通和服务治理。网格代理303和网格代理305可以被配置成执行至少如下功能中的一种：服务发现(service discovery)，健康检查(health checking)，路由(Routing)，负载均衡(Load Balancing)，认证和授权(authentication andauthorization)，以及可观测性(observability)。

如图4所示，该服务网格300还包括控制平面层。其中，控制平面层可以是由一组在一个专用的命名空间中运行的服务，在机器/工作负载容器组(machine/Pod)302中由托管控制面组件301来托管这些服务。如图4所示，托管控制面组件301与网格代理303和网格代理305进行双向通信。托管控制面组件301被配置成执行一些控制管理的功能。例如，托管控制面组件301接收网格代理303和网格代理305传送的遥测数据，可以进一步对这些遥测数据做聚合。这些服务，托管控制面组件301还可以提供面向用户的应用程序接口(API)，以便较容易地操纵网络行为，以及向网格代理303和网格代理305提供配置数据等。

在上述运行环境下，本申请提供了如图5所示的一种遥感数据的处理方法。图5是根据本申请实施例1的一种遥感数据的处理方法的流程图。

步骤S502，通过目标服务节点从数据源获取第一遥感数据。

其中，数据源和目标服务节点位于第一区域。

上述的目标服务节点可以为云服务器，例如ECS节点，其中，ECS可以基于Nginx(请求和反向代理服务器)进行转发。目标服务节点仅做数据转发的工作，并不做数据处理的工作，可选的，目标服务节点可以将数据转发至目标服务平台中，目标服务平台可以对数据进行处理并进行存储。

上述的第一区域可以是数据源所在的区域，其中，目标服务节点与数据源都处于第一区域。

上述的数据源可以是第一区域的数据源，其中，数据源中可以包含有来自勘探过程中采集的遥感数据，还可以包含有空间站采集的遥感数据，还可以来自于云端的遥感数据。

上述的第一遥感数据可以为直接从数据源中获取到的遥感数据。

由于数据源主要集中在特定的区域，在从数据源中获取遥感数据的过程中，主要难点和问题在于跨区域导致的网络不稳定，经常出现超时、延迟、网络不通等情况。为解决网络稳定性问题，通过实际网络测试情况选取ECS节点访问数据源，ECS节点访问ODPS系统双稳定的部署实例。

可选的，可以在ECS节点上部署Nginx作为请求转发工具，调优Nginx系统参数：例如开启文件系统层级的缓存(PageCache)、超时延长、下载不经过本地落盘等，保证在长时间、长连接下载状态下有稳定状态。其中，ECS节点仅仅作为请求转发，没有任务操作属于无状态节点，可根据实际请求压力增加机器进行横向扩展支撑大数据量请求。可以在Proxy统一绑定域名，请求方直接发请求到域名，根据所配置的负载均衡策略自动选择节点，请求方无需知道所请求的具体节点，可以实现ECS节点的高可用和横向扩展。

步骤S504，通过目标服务节点转发第一遥感数据至目标处理平台。

其中，目标处理平台位于第二区域。

上述的目标处理平台可以为ODPS。

上述的目标服务节点和目标处理平台可以处于不同的区域。

上述的第二区域与第一区域的网络环境不同，其中，第一区域和第二区域由于网络环境不同，因此，第二区域难以直接从第一区域中的数据源中获取到第一遥感数据，此时，需要通过第一区域中的目标服务节点将第一区域中的遥感数据转发到第二区域中，以便第二区域的设备可以使用该遥感数据。

在一种可选的实施例中，在利用ECS节点中的Nginx将第一区域和第二区域的网络打通之后，可以基于ODPS平台的调度任务能力编写用户自定义表生成函数(uesr-definedtable-generating function，简称为UDTF)，针对不同的数据源定义不同的数据集检索和分发模版。

其中，UDTF的能力是将一行数据通过自定义处理，输出多行自定义数据的输出。在UDTF中分别对不同数据源实现：数据集定位、数据集过滤(基于时间、云量、坐标系等参数)，生成下载侧可以描述遥感数据的元数据信息，并解析出数据文件下载地址。此任务会将下载信息写入ODPS数据下载表，提供给后续下载任务进行数据下载。

数据下载表支持事务机制，用于后续更新数据文件下载、预处理状态，可利用此表进行数据回溯、流程状态监测。

步骤S506，通过目标处理平台对第一遥感数据进行预处理，得到预处理结果。

上述的预处理结果可以为预处理之后的第一遥感数据。

在一种可选的实施例中，可以通过目标处理平台下载得到第一遥感数据，可以将第一遥感数据存储至OSS，并同步对第一遥感数据进行预处理，其中，预处理流程中可以包含有文件解压、文件解析、利用处理工具的原子能力对第一遥感数据进行预处理，在预处理结束得到预处理结果之后，可以将预处理结果回传给OSS以便后续使用。

在另一种可选的实施例中，在对第一遥感数据进行预处理的过程中，可以先将第一遥感数据进行拆分，得到多个第二遥感数据，可以通过多个处理服务器分别对多个第二遥感数据进行预处理，得到多个子处理结果，从而提高处理的效率，可以合并多个子处理结果，生成最终的预处理结果。

在另一种可选的实施例中，在第一遥感数据的数据量较大时，可以对第一遥感数据进行拆分处理，得到多个第二遥感数据，并基于至少一个预处理节点对多个第二遥感数据进行预处理，得到多个子处理结果，合并多个子处理结果，生成预处理结果，以便在数据量较大时，能够通过分布式方法通过多个预处理节点对多个第二遥感数据进行并行处理，从而提高对第一遥感数据处理的效率。在第一遥感数据的数据量较小时，不需要对第一遥感数据进行拆分处理，仅需要通过预处理节点对第一遥感数据进行处理即可，从而提高处理的效率。

可选的，在第一遥感数据所需要的处理资源大于预设阈值时，可以对第一遥感数据进行拆分处理，并基于第一遥感数据所需要的处理资源确定预处理节点的目标数量，可以根据目标数量确定第一遥感数据需要拆分得到的多个第二遥感数据的数量，其中，拆分得到的多个第二遥感数据的数量可以为目标数量，拆分得到的多个第二遥感数据的数量可以大于目标数量。在第一遥感数据所需要的处理资源小于或等于预设阈值时，可以不对第一遥感数据进行拆分处理，直接使用预处理节点对第一遥感数据进行预处理即可。

在又一种可选的实施例中，可以由用户确定是否对第一遥感数据进行拆分处理，用户可以确定拆分得到多个第二遥感数据的数量，用户还可以确定预处理节点的数量，以便用户能够灵活的选择是否需要对第一遥感数据进行拆分处理。

步骤S508，通过目标处理平台对预处理结果进行存储。

其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

上述的目标服务平台可以使用目标处理平台中存储的遥感数据提供相关服务。

在一种可选的实施例中，可以通过目标处理平台将预处理结果存储到对象存储服务中，也即OSS中，以便于后续的目标服务平台获取到OSS中的数据。

通过上述步骤，首先通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理，实现了提高遥感数据的处理效率，容易注意到的是，可以通过第一区域的目标服务节点获取并转发第一遥感数据至第二区域的目标处理平台，由于服务节点仅作转发数据的工作，因此，不需要针对不同的类型设置对应的服务节点，可以通过统一的目标处理平台对第一遥感数据进行预处理，从而提高数据的处理效率，并且存储后的遥感数据是经过预处理后的数据，便于目标处理平台可以直接使用，不需要再做额外的处理，进而解决了关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较的技术问题。

本申请上述实施例中，目标服务节点包括至少一个转发节点，通过目标服务节点转发第一遥感数据至目标处理平台，包括：基于负载均衡策略确定至少一个转发节点中的目标转发节点；基于目标转发节点将第一遥感数据转发至目标处理平台。

上述的负载均衡策略可以设置，其主要分配转发资源给第一遥感数据。

在一种可选的实施例中，可以根据负载均衡策略自动从至少一个转发节点中自动选择合适的目标转发节点，以便于目标转发节点能够快速的将第一遥感数据转发至目标处理平台。在选择目标转发节点的过程中，请求方无需直到具体的节点，因此，可以根据请求转发的请求数量来增加或者减少转发节点的数量，若请求数量较少，则可以减少转发节点的数量，以提高单个转发节点的利用率，若请求数量较多，则可以增加转发节点的数量，以便快速的对数据进行转发。

本申请上述实施例中，该方法还包括：通过目标处理平台确定与第一遥感数据对应的目标检索模板和目标筛选模板；利用目标检索模板和目标筛选模板对第一遥感数据进行处理，生成第一遥感数据对应的数据下载表，其中，数据下载表至少包括：第一遥感数据的第一元数据信息和下载信息；基于数据下载表对第一遥感数据进行下载，得到下载结果，其中，下载结果用于表征是否成功下载第一遥感数据；在下载结果表征成功下载第一遥感数据的情况下，对第一遥感数据进行预处理，得到预处理结果。

其中，对于不同数据源的遥感数据，其对应的目标检索模板和目标筛选模板并不相同。

上述的下载信息可以为下载地址。

上述的第一元数据信息可以是通过对第一元数据进行分析，得到的较为简单的元数据信息。

在一种可选的实施例中，在获取到第一遥感数据之后，可以根据第一遥感数据的类型确定与第一遥感数据对应的目标检索模板和目标筛选模板，可以利用目标检索模板对第一遥感数据进行检索，利用目标筛选模板对检索到的第一遥感数据进行筛选，得到筛选后的第一遥感数据。在筛选的过程中，可以根据时间、运量、坐标系等参数对第一遥感数据进行筛选，并生成第一遥感数据的第一元数据信息，可以基于对第一遥感数据进行解析，得到第一遥感数据的下载地址。

在得到第一元数据信息和下载地址之后，可以将第一遥感数据的第一元数据信息和下载地址写入到数据下载表中，以便于后续通过第一元数据信息和下载地址对第一一遥感数据进行下载。

在一种可选的实施例中，可以根据数据分发过程中得到的数据下载表基于ODPS平台的调度任务能力编写UDTF程序。通过数据库运行获取下载链接，执行访问请求。将返回的第一遥感数据写入文件后调用OSS开放接口进行数据文件上传操作。在整个下载流程中，可以根据时间打点和读到的字节流进行下载速率计算，通过日志可以实时观测到文件下载的速率和进度。由于文件过大，网络带宽限制等原因，下载过程是一个耗时且易出错的步骤，为了解决该问题，本申请在整个下载过程支持基于退避算法的重试机制，可以保证单文件的失败重试。文件的下载状态在任务结束后会更新到数据下载表中。

在另一种可选的实施例中，在成功下载第一遥感数据之后，可以对第一遥感数据进行预处理，得到预处理结果，并将预处理结果可以存储值OSS中。

本申请上述实施例中，利用目标检索模板和目标筛选模板对第一遥感数据进行处理，生成第一遥感数据对应的数据下载表，包括：利用目标检索模板对第一遥感数据进行数据定位，生成定位结果；基于目标筛选模板和定位结果对第一遥感数据进行筛选，生成筛选结果；基于定位结果和筛选结果获取第一元数据信息和下载信息；基于第一元数据信息和下载信息生成数据下载表。

在一种可选的实施例中，可以利用目标检索模板对第一遥感数据中需要存储的数据进行定位，以便得到定位结果，可以基于目标筛选模板和定位结果对第一遥感数据中需要存储的数据进行筛选，得到筛选结果，并根据定位结果解析得到第一遥感数据的第一元数据信息和下载信息，可以根据第一元数据信息和下载信息生成数据下载表。

本申请上述实施例中，在基于数据下载表对第一遥感数据进行下载，得到下载结果之后，该方法还包括：基于下载结果对数据状态表中与第一遥感数据对应的第一状态信息进行更新，其中，数据状态表用于存储不同遥感数据的状态信息，第一状态信息至少包括：下载时间、下载状态和遥感数据名称。

上述的第一状态信息用于表示第一遥感数据的下载状态信息，其中的下载时间可以是第一遥感数据开始下载的时间和结束下载的时间，还可以是第一遥感数据的总下载时长，此处不做任何限定，下载状态可以用于表示第一遥感数据是否成功下载，还可以是第一遥感数据的下载次数，遥感数据名称可以是第一遥感数据所属的领域名称。

在一种可选的实施例中，在得到下载结果后，可以对数据状态表中与第一遥感数据对应的第一状态信息进行更新，以便可以根据数据状态表中的第一状态信息对第一遥感数据的下载状态进行了解。

本申请上述实施例中，通过目标处理平台对第一遥感数据进行预处理，得到预处理结果，包括：对第一遥感数据进行拆分处理，得到多个第二遥感数据；基于至少一个预处理节点对多个第二遥感数据进行预处理，得到多个子处理结果；合并多个子处理结果，生成预处理结果。

上述的至少一个预处理节点可以为ECI中的节点。其中，其中ECI是封装了遥感数据处理原子能力的弹性容器，例如：影像坐标处理、多文件的波段融合、影像金字塔创建等，其中，预处理节点可以为弹性容器，通过设置多个弹性容器可以实现对多个第二遥感数据进行快速的预处理。

在一种可选的实施例中，基于ODPS平台的调度任务能力编写映射归约编程模型(MapReduce)处理程序。在MapReduce节点扩展执行的同时调用ECI Api，在ECI集群拉起多个容器进行并行处理，充分利用分布式的计算资源可大批量处理遥感数据。预处理程序设计为流水线(pipeline)插件化模式，其可以为扩充预处理步骤提供便捷的接入能力。通过将第一遥感数据拆分为多个第二遥感数据，并基于至少一个预处理节点对多个第二遥感数据进行预处理，可以得到多个子处理结果，从而提高预处理的效率，并且可以根据预处理的第二遥感数据的数量来灵活增加和减少预处理节点，从而能够在提高预处理效率的同时减少预处理的成本，可以合并多个子处理结果，得到最终的预处理结果。

本申请上述实施例中，该方法还包括：基于预处理结果对数据状态表中与第一遥感数据对应的第二状态信息进行更新，其中，第二状态信息至少包括：预处理时间、预处理状态和遥感数据名称。

上述的第二状态信息可以是第一遥感数据的预处理状态信息。其中包含了预处理时间、预处理状态和遥感数据名称，其中的预处理时间可以是第一遥感数据开始预处理的时间和结束预处理的时间，还可以是第一遥感数据的总预处理时长，此处不做任何限定，预处理状态可以用于表示第一遥感数据是否完成预处理，遥感数据名称可以是第一遥感数据所属的领域名称。

在一种可选的实施例中，可以根据预处理结果对数据状态表中与第一遥感数据对应的第二状态信息进行更新，以便与后续在监测、回溯整个数据处理链路时可根据数据状态表对每条遥感数据的处理进度、状态进行了解。

本申请上述实施例中，通过目标处理平台对预处理结果进行存储，包括：提取第一遥感数据的第一元数据信息；基于第一遥感数据和第一元数据信息生成目标分区表；基于第一元数据信息和目标分区表对预处理结果进行分区存储。

上述的第一元数据信息可以为遥感数据文件存储的OSS路径、遥感数据文件的大小、遥感数据的文件有哪些波段等，将提取后的数据按分区表的形式进行存储，便于后续的使用。

在一种可选的实施例中，针对每组遥感数据，都需要提取一些元数据信息作为数据标识。在预处理结束后，可以基于ODPS平台的调度任务能力编写程序提取遥感数据的第一元数据信息，并将提取后的第一元数据信息按分区表的形式对第一遥感数据进行存储，便于后续的使用。

本申请上述实施例中，该方法还包括：获取已经存储的第一遥感数据；基于第一遥感数据和预处理结果生成目标通知信息，其中，目标通知消息用于通知第一遥感数据是否能够使用；发送目标通知消息至目标服务平台。

上述的目标通知消息内容包括但不限于文件名、数据层级、处理日期、数据日期、数据存储OSS路径等。

在一种可选的实施例中，在预处理结束后需要通知下游服务，告知当前处理了哪些数据，有哪些数据可以提供给下游继续使用。通过分布式消息的中间件(RocketMq)进行系统性解耦，基于分布式消息的中间件可以方便的将ODPS与下游的目标服务平台进行分离，消除强依赖关系，使得不同平台的变动相互无影响。

在另一种可选的实施例中，可以根据第一遥感数据和预处理结果生成用于提醒用户的目标通知信息，发送该目标通知消息至目标服务平台，以便用户可根据目标通知信息了解第一遥感数据的处理情况和能够使用的第一遥感数据。

本申请上述实施例中，该方法还包括：获取目标通知消息；基于预设模板和目标通知消息构建第一遥感数据的第二元数据信息；利用第二元数据信息更新时空资产目录，其中，时空资产目录用于存储不同遥感数据的云数据信息。

上述的预设模板可以根据时空资产目录的录入规则进行指定。

上述的第二元数据信息可以为符合时空资产目录录入规则的元数据信息。

在一种可选的实施例中，可以根据目标通知消息使得元数据管理系统能够消费预处理结束后的信息，得知哪些遥感数据已经被处理完成。基于目标通知消息中提供的基础信息可以进行元数据的创建，同时可以根据时空资产目录的系列规范标准化空间资产元数据的结构化和查询方式。其中包括飞机和无人机等来源以及高光谱光学、合成孔径雷达(SAR)、矢量、机器学习标签等。以便于能够将更新后的时空资产目录提供给基于STAC协议进行遥感数据空间信息检索的检索系统。

在一种可选的实施例中，可以将更新后的时空资产目录反馈给平台管理人员，使得平台管理人员可以基于遥感数据的管理需求对更新后的时空资产目录进行编辑或修改，从而使得时空资产目录更符合管理需求。

图6是根据本申请实施例的一种遥感数据的处理系统的结构框图，系统整体分为三个层次：第一层为数据采集层，利用ECS节点基于Nginx进行转发代理，解决跨区域之间的网络不稳定问题。ODPS集群与ECS集群网络打通，创建数据集Split、数据下载调度任务，通过SQL+UDF的任务封装形式进行每日定时触发，下载后的数据直接通过ODPS的OSS外表进行数据上传与关联，便于后续的数据使用。第二层为数据预处理层，通过大数据技术MapReduce直接读取OSS外部表所关联的遥感数据文件，可在MapReduce程序中做数据的解析处理，更复杂的影像处理直接调用ECI Service服务，利于分布式计算的高效性，TB量级数据可以在小时单位内分析处理完成。第三层为数据元数据层，预处理结束后结合ODPS元数据任务进行遥感数据的元数据归档，并且向消息系统发送通知消息，通知下游有哪些数据已经预处理完成。元数据管理系统消费MQ中的消息，根据消息内容基于STAC协议进行不同影像的元数据创建，便于后续影响数据的检索、展示、处理分析。

本申请中的ECS的Proxy代理方案，使得国外节点的机器无需承担任务职责，更利于运维和资源伸缩，轻量化上层数据接入方式。其中，ODPS大数据平台有拥有成熟的调度、重试、资源伸缩机制，平台的能力可以大大降低整个系统的开发、迭代、运维监测成本，所有和任务相关的逻辑都封装，只用简单维护几个UDF、UDTF就可以完成，无需单独维护一个具有自定义调度逻辑的复杂项目。在此基础上，可以更关注数据侧的采集、预处理、分发质量，使得日常迭代和运维更加高效。无论是SQL、UDF还是Mapreduce技术，都具有天然的分布式计算、容错能力，遥感影像的处理通常都对cpu、内存等资源有较高的要求，利用大数据平台的能力可以轻松的处理PB级数据，自动的资源伸缩和容错使得遥感影像的处理变的高效快速，并且每个步骤的处理都可以重复执行，保证处理结果的幂等性，为数据下游提供更稳定的前置需求。配置定时任务后，到点自动触发无需人工介入，可以基于不同任务设置高阶的参数，如：流量控制、并发控制、重试控制，形成一套完整的处理Pipeline模型。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

实施例2

根据本申请实施例，还提供了一种用于实施上述遥感数据的处理方法的遥感数据的处理装置，如图7所示，该装置700包括：获取模块702、转发模块704、预处理模块706、存储模块708。

其中，获取模块，用于通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；转发模块，用于通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；预处理模块，用于通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；存储模块，用于通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

此处需要说明的是，上述获取模块702、转发模块704、预处理模块706、存储模块708对应于步骤1中的步骤S502至步骤S508，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

本申请上述实施例中，目标服务节点包括至少一个转发节点，转发模块，包括：第一确定单元、转发单元。

其中，第一确定单元用于基于负载均衡策略确定至少一个转发节点中的目标转发节点；转发单元用于基于目标转发节点将第一遥感数据转发至目标处理平台。

本申请上述实施例中，该装置还包括：确定模块、处理模块、下载模块。

其中，确定模块用于通过目标处理平台确定与第一遥感数据对应的目标检索模板和目标筛选模板；处理模块用于利用目标检索模板和目标筛选模板对第一遥感数据进行处理，生成第一遥感数据对应的数据下载表，其中，数据下载表至少包括：第一遥感数据的第一元数据信息和下载信息；下载模块用于基于数据下载表对第一遥感数据进行下载，得到下载结果，其中，下载结果用于表征是否成功下载第一遥感数据；预处理模块还用于在下载结果表征成功下载第一遥感数据的情况下，对第一遥感数据进行预处理，得到预处理结果。

本申请上述实施例中，处理模块，包括：定位单元、筛选单元、生成单元。

其中，定位单元用于利用目标检索模板对第一遥感数据进行数据定位，生成定位结果；基于目标筛选模板和定位结果对第一遥感数据进行筛选，生成筛选结果；筛选单元用于基于定位结果和筛选结果获取第一元数据信息和下载信息；生成单元用于基于第一元数据信息和下载信息生成数据下载表。

本申请上述实施例中，该装置还包括：更新模块。

其中，更新模块用于基于下载结果对数据状态表中与第一遥感数据对应的第一状态信息进行更新，其中，数据状态表用于存储不同遥感数据的状态信息，第一状态信息至少包括：下载时间、下载状态和遥感数据名称。

本申请上述实施例中，预处理模块，包括：拆分单元、预处理单元、合并单元。

其中，拆分单元用于对第一遥感数据进行拆分处理，得到多个第二遥感数据；预处理单元用于基于至少一个预处理节点对多个第二遥感数据进行预处理，得到多个子处理结果；合并单元用于合并多个子处理结果，生成预处理结果。

本申请上述实施例中，更新模块还用于基于预处理结果对数据状态表中与第一遥感数据对应的第二状态信息进行更新，其中，第二状态信息至少包括：预处理时间、预处理状态和遥感数据名称。

本申请上述实施例中，存储模块包括：提取单元、生成单元、存储单元。

其中，提取单元用于提取第一遥感数据的第一元数据信息；生成单元用于基于第一遥感数据和第一元数据信息生成目标分区表；存储单元用于基于第一元数据信息和目标分区表对预处理结果进行分区存储。

本申请上述实施例中，该装置还包括：生成模块、发送模块。

其中，获取模块还用于获取已经存储的第一遥感数据；生成模块用于基于第一遥感数据和预处理结果生成目标通知信息，其中，目标通知消息用于通知第一遥感数据是否能够使用；发送目标通知消息至目标服务平台。

本申请上述实施例中，该装置还包括：构建模块。

其中，获取模块还用于获取目标通知消息；构建模块用于基于预设模板和目标通知消息构建第一遥感数据的第二元数据信息；更新模块还用于利用第二元数据信息更新时空资产目录，其中，时空资产目录用于存储不同遥感数据的云数据信息。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例3

根据本申请实施例，还提供了一种遥感数据的处理系统，该系统包括：

目标服务节点，用于从数据源获取第一遥感数据，并转发第一遥感数据，其中，数据源和目标服务节点位于第一区域；

目标处理平台，用于对第一遥感数据进行预处理，得到预处理结果，并对预处理结果进行存储，其中，目标处理平台位于第二区域，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例4

本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行遥感数据的处理方法中以下步骤的程序代码：通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

可选地，图8是根据本申请实施例的一种计算机终端的结构框图。如图8所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器、存储器。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的遥感数据的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的遥感数据的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

可选的，上述处理器还可以执行如下步骤的程序代码：基于负载均衡策略确定至少一个转发节点中的目标转发节点；基于目标转发节点将第一遥感数据转发至目标处理平台。

可选的，上述处理器还可以执行如下步骤的程序代码：通过目标处理平台确定与第一遥感数据对应的目标检索模板和目标筛选模板；利用目标检索模板和目标筛选模板对第一遥感数据进行处理，生成第一遥感数据对应的数据下载表，其中，数据下载表至少包括：第一遥感数据的第一元数据信息和下载信息；基于数据下载表对第一遥感数据进行下载，得到下载结果，其中，下载结果用于表征是否成功下载第一遥感数据；在下载结果表征成功下载第一遥感数据的情况下，对第一遥感数据进行预处理，得到预处理结果。

可选的，上述处理器还可以执行如下步骤的程序代码：利用目标检索模板对第一遥感数据进行数据定位，生成定位结果；基于目标筛选模板和定位结果对第一遥感数据进行筛选，生成筛选结果；基于定位结果和筛选结果获取第一元数据信息和下载信息；基于第一元数据信息和下载信息生成数据下载表。

可选的，上述处理器还可以执行如下步骤的程序代码：基于下载结果对数据状态表中与第一遥感数据对应的第一状态信息进行更新，其中，数据状态表用于存储不同遥感数据的状态信息，第一状态信息至少包括：下载时间、下载状态和遥感数据名称。

可选的，上述处理器还可以执行如下步骤的程序代码：对第一遥感数据进行拆分处理，得到多个第二遥感数据；基于至少一个预处理节点对多个第二遥感数据进行预处理，得到多个子处理结果；合并多个子处理结果，生成预处理结果。

可选的，上述处理器还可以执行如下步骤的程序代码：基于预处理结果对数据状态表中与第一遥感数据对应的第二状态信息进行更新，其中，第二状态信息至少包括：预处理时间、预处理状态和遥感数据名称。

可选的，上述处理器还可以执行如下步骤的程序代码：提取第一遥感数据的第一元数据信息；基于第一遥感数据和第一元数据信息生成目标分区表；基于第一元数据信息和目标分区表对预处理结果进行分区存储。

可选的，上述处理器还可以执行如下步骤的程序代码：获取已经存储的第一遥感数据；基于第一遥感数据和预处理结果生成目标通知信息，其中，目标通知消息用于通知第一遥感数据是否能够使用；发送目标通知消息至目标服务平台。

可选的，上述处理器还可以执行如下步骤的程序代码：获取目标通知消息；基于预设模板和目标通知消息构建第一遥感数据的第二元数据信息；利用第二元数据信息更新时空资产目录，其中，时空资产目录用于存储不同遥感数据的云数据信息。

采用本申请实施例，提供了一种遥感数据的处理的方案。首先通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理，实现了提高遥感数据的处理效率，容易注意到的是，可以通过第一区域的目标服务节点获取并转发第一遥感数据至第二区域的目标处理平台，由于服务节点仅作转发数据的工作，因此，不需要针对不同的类型设置对应的服务节点，可以通过统一的目标处理平台对第一遥感数据进行预处理，从而提高数据的处理效率，并且存储后的遥感数据是经过预处理后的数据，便于目标处理平台可以直接使用，不需要再做额外的处理，进而解决了关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较的技术问题。

本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例5

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的遥感数据的处理方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于负载均衡策略确定至少一个转发节点中的目标转发节点；基于目标转发节点将第一遥感数据转发至目标处理平台。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：通过目标处理平台确定与第一遥感数据对应的目标检索模板和目标筛选模板；利用目标检索模板和目标筛选模板对第一遥感数据进行处理，生成第一遥感数据对应的数据下载表，其中，数据下载表至少包括：第一遥感数据的第一元数据信息和下载信息；基于数据下载表对第一遥感数据进行下载，得到下载结果，其中，下载结果用于表征是否成功下载第一遥感数据；在下载结果表征成功下载第一遥感数据的情况下，对第一遥感数据进行预处理，得到预处理结果。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：利用目标检索模板对第一遥感数据进行数据定位，生成定位结果；基于目标筛选模板和定位结果对第一遥感数据进行筛选，生成筛选结果；基于定位结果和筛选结果获取第一元数据信息和下载信息；基于第一元数据信息和下载信息生成数据下载表。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于下载结果对数据状态表中与第一遥感数据对应的第一状态信息进行更新，其中，数据状态表用于存储不同遥感数据的状态信息，第一状态信息至少包括：下载时间、下载状态和遥感数据名称。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对第一遥感数据进行拆分处理，得到多个第二遥感数据；基于至少一个预处理节点对多个第二遥感数据进行预处理，得到多个子处理结果；合并多个子处理结果，生成预处理结果。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于预处理结果对数据状态表中与第一遥感数据对应的第二状态信息进行更新，其中，第二状态信息至少包括：预处理时间、预处理状态和遥感数据名称。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：提取第一遥感数据的第一元数据信息；基于第一遥感数据和第一元数据信息生成目标分区表；基于第一元数据信息和目标分区表对预处理结果进行分区存储。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取已经存储的第一遥感数据；基于第一遥感数据和预处理结果生成目标通知信息，其中，目标通知消息用于通知第一遥感数据是否能够使用；发送目标通知消息至目标服务平台。

可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取目标通知消息；基于预设模板和目标通知消息构建第一遥感数据的第二元数据信息；利用第二元数据信息更新时空资产目录，其中，时空资产目录用于存储不同遥感数据的云数据信息。

采用本申请实施例，提供了一种遥感数据的处理的方案。首先通过目标服务节点从数据源获取第一遥感数据，其中，数据源和目标服务节点位于第一区域；通过目标服务节点转发第一遥感数据至目标处理平台，其中，目标处理平台位于第二区域；通过目标处理平台对第一遥感数据进行预处理，得到预处理结果；通过目标处理平台对预处理结果进行存储，其中，预处理结果由位于目标处理平台下游的目标服务平台进行处理，实现了提高遥感数据的处理效率，容易注意到的是，可以通过第一区域的目标服务节点获取并转发第一遥感数据至第二区域的目标处理平台，由于服务节点仅作转发数据的工作，因此，不需要针对不同的类型设置对应的服务节点，可以通过统一的目标处理平台对第一遥感数据进行预处理，从而提高数据的处理效率，并且存储后的遥感数据是经过预处理后的数据，便于目标处理平台可以直接使用，不需要再做额外的处理，进而解决了关技术中由于服务节点只能对其对应的遥感数据进行处理，从而导致遥感数据的处理效率较的技术问题。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种遥感数据的处理方法，其特征在于，包括：

通过目标服务节点从数据源获取第一遥感数据，其中，所述数据源和所述目标服务节点位于第一区域；

通过所述目标服务节点转发所述第一遥感数据至目标处理平台，其中，所述目标处理平台位于第二区域；

通过所述目标处理平台对所述第一遥感数据进行预处理，得到预处理结果；

通过所述目标处理平台对所述预处理结果进行存储，其中，所述预处理结果由位于所述目标处理平台下游的目标服务平台进行处理。

2.根据权利要求1所述的方法，其特征在于，所述目标服务节点包括至少一个转发节点，通过所述目标服务节点转发所述第一遥感数据至目标处理平台，包括：

基于负载均衡策略确定所述至少一个转发节点中的目标转发节点；

基于所述目标转发节点将所述第一遥感数据转发至所述目标处理平台。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述目标处理平台确定与所述第一遥感数据对应的目标检索模板和目标筛选模板；

利用所述目标检索模板和所述目标筛选模板对所述第一遥感数据进行处理，生成所述第一遥感数据对应的数据下载表，其中，所述数据下载表至少包括：所述第一遥感数据的第一元数据信息和下载信息；

基于所述数据下载表对所述第一遥感数据进行下载，得到下载结果，其中，所述下载结果用于表征是否成功下载所述第一遥感数据；

在所述下载结果表征成功下载所述第一遥感数据的情况下，对所述第一遥感数据进行预处理，得到所述预处理结果。

4.根据权利要求3所述的方法，其特征在于，利用所述目标检索模板和所述目标筛选模板对所述第一遥感数据进行处理，生成所述第一遥感数据对应的数据下载表，包括：

利用所述目标检索模板对所述第一遥感数据进行数据定位，生成定位结果；

基于所述目标筛选模板和所述定位结果对所述第一遥感数据进行筛选，生成筛选结果；

基于所述定位结果和所述筛选结果获取所述第一元数据信息和所述下载信息；

基于所述第一元数据信息和所述下载信息生成所述数据下载表。

5.根据权利要求3所述的方法，其特征在于，在基于所述数据下载表对所述第一遥感数据进行下载，得到下载结果之后，所述方法还包括：

基于所述下载结果对数据状态表中与所述第一遥感数据对应的第一状态信息进行更新，其中，所述数据状态表用于存储不同遥感数据的状态信息，所述第一状态信息至少包括：下载时间、下载状态和遥感数据名称。

6.根据权利要求1所述的方法，其特征在于，通过所述目标处理平台对所述第一遥感数据进行预处理，得到预处理结果，包括：

对所述第一遥感数据进行拆分处理，得到多个第二遥感数据；

基于至少一个预处理节点对所述多个第二遥感数据进行预处理，得到多个子处理结果；

合并所述多个子处理结果，生成所述预处理结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于所述预处理结果对数据状态表中与所述第一遥感数据对应的第二状态信息进行更新，其中，所述第二状态信息至少包括：预处理时间、预处理状态和遥感数据名称。

8.根据权利要求1所述的方法，其特征在于，通过所述目标处理平台对所述预处理结果进行存储，包括：

提取所述第一遥感数据的第一元数据信息；

基于所述第一遥感数据和所述第一元数据信息生成目标分区表；

基于所述第一元数据信息和所述目标分区表对所述预处理结果进行分区存储。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取已经存储的所述第一遥感数据；

基于所述第一遥感数据和所述预处理结果生成目标通知信息，其中，所述目标通知消息用于通知所述第一遥感数据是否能够使用；

发送所述目标通知消息至所述目标服务平台。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取所述目标通知消息；

基于预设模板和所述目标通知消息构建所述第一遥感数据的第二元数据信息；

利用所述第二元数据信息更新时空资产目录，其中，所述时空资产目录用于存储不同遥感数据的云数据信息。

11.一种遥感数据的处理装置，其特征在于，包括：

获取模块，用于通过目标服务节点从数据源获取第一遥感数据，其中，所述数据源和所述目标服务节点位于第一区域；

转发模块，用于通过所述目标服务节点转发所述第一遥感数据至目标处理平台，其中，所述目标处理平台位于第二区域；

预处理模块，用于通过所述目标处理平台对所述第一遥感数据进行预处理，得到预处理结果；

存储模块，用于通过所述目标处理平台对所述预处理结果进行存储，其中，所述预处理结果由位于所述目标处理平台下游的目标服务平台进行处理。

12.一种遥感数据的处理系统，其特征在于，包括：

目标服务节点，用于从数据源获取第一遥感数据，并转发所述第一遥感数据，其中，所述数据源和所述目标服务节点位于第一区域；

目标处理平台，用于对所述第一遥感数据进行预处理，得到预处理结果，并对所述预处理结果进行存储，其中，所述目标处理平台位于第二区域，所述预处理结果由位于所述目标处理平台下游的目标服务平台进行处理。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至10中任意一项所述的方法。

14.一种计算机终端，其特征在于，包括：处理器和存储器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的方法。

Images