CN114185698A - 一种基于微服务及rpc通信的遥感数据处理系统 - Google Patents

Abstract

本申请公开了一种基于微服务及RPC通信的遥感数据处理系统。包括：一站式分系统、数据分系统、业务分系统和展示分系统；本申请利用一站式分系统采集多源遥感服务数据，并发送至数据分系统，数据分系统对遥感数据分析，得到多源遥感服务信息，以满足不同类别用户需求，提高系统友好度和用户体验；业务分系统接收多源遥感服务信息，并从多源遥感服务信息中提取第一数据信息和第二数据信息，形成数据库服务端，提高空间数据的快速高效应用，并且通过展示分系统接收业务请求，业务请求包括用户身份信息；判断用户身份信息为第一用户时，输出第一数据信息；判断用户身份信息为第二用户时，输出第二数据信息，提高系统友好度和用户体验。

Description

一种基于微服务及RPC通信的遥感数据处理系统

技术领域

本公开一般涉及遥感通信技术领域，具体涉及一种基于微服务及 RPC通信的遥感数据处理系统。

背景技术

目前我国在卫星通信、卫星导航和卫星遥感等各自系统建设方面都取得很大进展。我国正在建立的BD/COMPASS(北斗)卫星导航系统，已经可以提供高精度的全球或区域的导航定位服务。国家空间基础设施规划新增通信广播卫星22颗，主要由商业需求驱动，规划缺少全球宽带通信能力，主要实现国土及周边地区的覆盖及增强。规划中的S频段通信卫星，实现了全球的通信覆盖，主要提供的业务是语音和短消息通信服务。所有这些来自天空地一体化的数据，为进行通信、导航、遥感的融合应用提供了可能。

但是，现有的遥感数据服务模式大多面向专业用户，要求用户有一定的遥感数据处理基础，并对遥感数据处理算法有一定的了解。此外，现有遥感数据服务模式大多为数据与用户间的直连交互，在大部分情况下，用户需要将数据下载到本地进行处理。虽然有部分遥感数据服务系统，如Google Earth Engine等提供遥感数据在线处理服务，但需要配置各种复杂的处理参数，对用户遥感方面知识储备要求较高，需要具备一定的遥感数据处理基础才能有效使用，且不能基于遥感数据生产信息融合服务产品，缺乏与实际应用的直接绑定，且对大众用户友好度较低。因此，现有的遥感数据处理系统亟待改进。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种满足不同类别用户需求，提高系统友好度和用户体验，提高空间数据的快速高效应用，结构简单且易于实现的基于微服务及RPC通信的遥感数据处理系统。

第一方面，本申请提供一种基于微服务及RPC通信的遥感数据处理系统，包括：一站式分系统、数据分系统、业务分系统和展示分系统；

所述一站式分系统，用于采集多源遥感服务数据；

所述数据分系统，用于接收并分析所述多源遥感服务数据，得到多源遥感服务信息；

所述业务分系统，用于接收多源遥感服务信息，并从所述多源遥感服务信息中提取第一数据信息和第二数据信息；

所述展示分系统，用于接收业务请求，所述业务请求包括用户身份信息；所述用户身份信息包括：第一用户信息和第二用户信息；

判断所述用户身份信息为第一用户时，输出所述第一数据信息；

判断所述用户身份信息为第二用户时，输出所述第二数据信息。

根据本申请实施例提供的技术方案，所述第一数据信息为定制化遥感数据信息；所述第二数据信息为公共基础遥感数据信息。

根据本申请实施例提供的技术方案，所述定制化遥感数据信息包括：结果分析信息，湖泊、农田等区域的实测横纵坐标、地图横纵坐标、经纬度等地物提取信息；所述公共基础遥感数据信息包括：结果影像信息，影像实际处理时的参数信息与结果拇指图信息等基础信息。

根据本申请实施例提供的技术方案，所述数据分系统与所述业务分系统之间设有注册中心模块，用于为所述一站式系统的数据传输提供注册通道；

和，

用于通过网络从所述数据分系统中远程调用多源遥感服务信息至所述业务分系统。

根据本申请实施例提供的技术方案，所述业务分系统包括：检索下载模块、第一分析服务模块和系统日志模块；

所述检索下载模块，用于从所述注册中心模块中获取多源遥感服务信息并下载；

所述第一分析服务模块，用于从所述多源遥感服务信息中提取第一数据信息与第二数据信息；

所述系统日志模块，用于根据所述业务分系统中所产生的数据传输信息，生成系统日志。

根据本申请实施例提供的技术方案，所述注册中心模块连接有管理模块；

所述管理模块，用于向所述注册中心模块发布服务接口，并将使用任一服务接口的用户的信息生成相应的系统日志。

根据本申请实施例提供的技术方案，所述展示分系统包括：检索模块和定制分析模块；

所述检索模块，用于向用户提供输入检索信息的界面，并通过 RESTful接口发送至所述业务分系统；

所述定制分析模块，用于向用户提供输入配置参数的界面，并通过RESTful接口发送至所述业务分系统。

根据本申请实施例提供的技术方案，所述数据分系统包括：数据接口调用模块和第二分析服务模块；

所述数据接口调用模块，用于接收来自所述一站式分系统的多源遥感服务数据；

所述第二分析服务模块，用于分析多源遥感服务数据，得到多源遥感服务信息。

根据本申请实施例提供的技术方案，所述服务接口为Java接口。

根据本申请实施例提供的技术方案，还包括：与所述业务分系统、所述数据分系统网络连接的监控中心模块；

所述监控中心模块，用于监测所述业务分系统与所述数据分系统之间的通信网络状态。

综上所述，本技术方案具体地公开了一种基于微服务及RPC通信的遥感数据处理系统的具体流程。本申请具体地设计通信连接的一站式分系统、数据分系统、业务分系统和展示分系统，利用一站式分系统采集多源遥感服务数据，并发送至数据分系统，数据分系统对遥感数据进行分析，得到多源遥感服务信息，以满足不同类别用户需求，提高系统友好度和用户体验；业务分系统接收多源遥感服务信息，并从多源遥感服务信息中提取第一数据信息和第二数据信息，形成数据库服务端，提高空间数据的快速高效应用，并且通过展示分系统接收业务请求，业务请求包括用户身份信息；用户身份信息包括：第一用户信息和第二用户信息；判断用户身份信息为第一用户时，输出第一数据信息；判断用户身份信息为第二用户时，输出第二数据信息，提高系统友好度和用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为一种基于微服务及RPC通信的遥感数据处理系统的流程示意图。

图2为数据分系统与业务分系统之间的RPC架构图。

图3为数据分系统与业务分系统之间的服务流程示意图。

图中标号：1、一站式分系统；2、数据分系统；3、业务分系统； 4、展示分系统；5、注册中心模块；6、检索下载模块；7、第一分析服务模块；8、系统日志模块；9、管理模块；10、检索模块；11、定制分析模块；12、数据接口调用模块；13、第二分析服务模块；14、监控中心模块。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一

请参考图1所示的本申请提供的一种基于微服务及RPC通信的遥感数据处理系统的第一种实施例的流程示意图，包括：一站式分系统 1、数据分系统2、业务分系统3和展示分系统4；

所述一站式分系统1，用于采集多源遥感服务数据；

所述数据分系统2，用于接收并分析所述多源遥感服务数据，得到多源遥感服务信息；

所述业务分系统3，用于接收多源遥感服务信息，并从所述多源遥感服务信息中提取第一数据信息和第二数据信息；

所述展示分系统4，用于接收业务请求，所述业务请求包括用户身份信息；所述用户身份信息包括：第一用户信息和第二用户信息；

判断所述用户身份信息为第一用户时，输出所述第一数据信息；

判断所述用户身份信息为第二用户时，输出所述第二数据信息。

在本实施例中，一站式分系统1，用于采集多源遥感服务数据；此处，多源遥感服务数据包括卫星数据服务、功能服务和资源服务。

数据分系统2，用于接收并分析多源遥感服务数据，得到多源遥感服务信息；

具体地，数据分系统2包括数据接口调用模块12和第二分析服务模块13；

数据接口调用模块12，用于接收来自一站式分系统1的多源遥感服务数据；数据分系统2与一站式分系统1所使用的数据源相同，因此数据可以在系统全局进行上下传递。

第二分析服务模块13，用于分析多源遥感服务数据，得到多源遥感服务信息；

业务分系统3，用于接收多源遥感服务信息，并从多源遥感服务信息中提取第一数据信息和第二数据信息；

展示分系统4，用于接收业务请求，业务请求包括用户身份信息；用户身份信息包括：第一用户信息和第二用户信息；

判断用户身份信息为第一用户时，输出第一数据信息；

判断用户身份信息为第二用户时，输出第二数据信息。

其中，第一用户例如为专家用户；第二用户例如为普通用户；第一数据信息为定制化遥感数据信息；第二数据信息为公共基础遥感数据信息；

定制化遥感数据信息包括：结果分析信息，湖泊、农田等区域的实测横纵坐标、地图横纵坐标、经纬度等地物提取信息；公共基础遥感数据信息包括：结果影像信息，影像实际处理时的参数信息与结果拇指图信息等基础信息。

此处，定制化遥感数据信息用于为专家用户提供数据信息，公共基础遥感数据信息用于为普通用户提供数据信息；

并且，专家用户在获得专属的数据信息的同时也可以得到基础数据信息。

业务分系统提供服务模式标识符，为专家服务模式匹配专家服务模式标识符，为普通服务模式匹配普通服务模式标识符；

根据用户选择的标识符，为用户匹配到相应的服务模式；

具体地，根据不同的参数进行服务模式判断分析；系统流程首先需要在展示分系统进行影像贴图预览，用户核对影像，在确认是要处理的影像后发送业务请求，根据参数匹配影像要执行的算法模型(匹配对应的服务模式)，算法模型执行完成后为用户提供结果数据，即得到相匹配的服务模式。

进一步地，专家服务模式即面向行业、区域的遥感应用数据服务模式；其中，行业和区域用户普遍具备一定的遥感基础知识，并对遥感数据处理有一定了解，对所需要的遥感信息产品也有明确的认识，针对此类用户，专家服务模式提供可配置参数、信息产品+快视图反馈和分析结果可视化展示的遥感应用数据在线定制分析模式，在保证信息产品精确度的前提下，为此类用户提供最大限度的自由度，让其可以根据自身需求进行自定义遥感应用数据处理，并通过快视图+统计分析图的方式对处理结果进行实时反馈。

普通服务模式即面向部分企业和公众的遥感应用数据模式；其中，部分企业用户和公众用户普遍并不具备遥感相关知识，但对遥感应用数据信息产品有应用需求或浓厚的探索欲。针对此类用户，普通服务模式对遥感信息产品模型算法进行最大限度地封装，在保证信息产品精确度的前提下，为此类用户提供信息产品+快视图反馈和分析结果可视化展示的遥感应用数据在线定制分析模式。由于无需进行过多的参数配置，普通服务模式可以有效达到人人可用、人人能用、人人会用的遥感应用数据服务理念，更好的推动遥感信息产品服务于大众用户。

并且，此遥感数据处理系统采用基于标准Web服务调用方式，集成在应用系统中，利用标准Web服务调用的方式，屏蔽各类功能实现的软硬件环境差异；用户在客户端只需通过浏览器访问，无需安装任何遥感处理软件，在设定相关参数后即可得到数据处理结果。

进一步地，注册中心模块5，设置在数据分系统2与业务分系统3 之间，用于为一站式系统1的数据传输提供注册通道；

和，

用于通过网络从从数据分系统2中远程调用多源遥感服务信息至业务分系统3；

具体地，业务分系统3包括：检索下载模块6、第一分析服务模块7和系统日志模块8；

检索下载模块6，用于从注册中心模块5中获取多源遥感服务信息并下载；

第一分析服务模块7，用于从多源遥感服务信息中提取第一数据信息与第二数据信息；

系统日志模块8，用于根据业务分系统3中所产生的数据传输信息，生成系统日志。

其中，第一分析服务模块7利用采用面向对象分类方法(OBIA) 实现高分遥感信息的有效提取与分析；

针对不同类别地物信息的特点采用了不同的提取策略。系统采用特征基元的深度分类直接提取农、林、草等大尺度地物信息。针对码头等形态多样的小尺度风险目标，采用两级分类的模式进行识别，即一级深度(监督)分类，二级规则分类的模式进行提取识别，克服样本量不足影响。具体地，采用分阶段逐步求精的策略，即首先用监督分类模型实现一级水陆划分和主要类别分类，其次利用规则分类的方式，主要依托基元间的拓扑与尺度等空间关系等进行分类粒度的再精化。通过以上一级监督、二级规则分类有机结合的方式，最终实现以上小尺度地物信息目标的准确提取。

本系统需要处理多余种原始数据并生产分析处理结果，对数据存储和计算要求高，为加快产品生产的效率，系统设计的大规模高性能处理架构主要特点有多模式多层次的并行处理、集群内和集群间的分级调度，且利用部署于分布式集群上的分布式存储为系统提供高效的数据并发访问支持。多模式多层次的并行处理是将全球任务按前述的生产基准分解执行任务，并在执行任务内部进一步使用算法并行来加速。任务调度时将执行任务根据并行度聚合成区域任务，集群内的调度以执行任务为单位，集群间的调度以聚合的区域任务为单位；例如 30m分辨率的生产基准为6°×5°范围，其数据量依然很大，且任务调度的最细单位是执行任务，为充分利用集群中CPU及GPU的性能，本系统以生产基准为单位再分别进行数据分块和指令级别的两级并行。

进一步地，还包括：与业务分系统3、数据分系统2网络连接的监控中心模块14；

监控中心模块14，用于监测业务分系统3与数据分系统2之间的通信网络状态。

其中，数据分系统2与业务分系统3之间通过RPC方式进行交互，采用Dubbo作为RPC框架，监测业务分系统3与数据分系统2之间的通信网络状态，并采用Zookeeper作为注册中心模块进行服务分发；

如图2所示，为Dubbo框架架构图，Provider为服务提供方，提供Java服务接口的实现，并将其元信息注册到Dubbo注册中心(过程1.register所示)；

Consumer为服务消费端，从Dubbo注册中心检索订阅的Java服务接口的元信息(过程2.subscribe所示)，通过框架处理后，生成代理程序执行远程方法调用(过程4.invoke所示)；

Registry为注册中心，属于注册元信息中心化基础设施(如Apache Zookeeper或Alibaba Nacos，遥感应用数据在线定制与分析分系统采用Zookeeper作为注册中心)，为Provider提供注册通道，为Cosumer 提供订阅渠道。同时，注册中心支持注册元信息变更通知，通知 Consumer上游Provider节点的变化(如扩容或缩容)，而注册元信息均以DubboURL的形式存储；

Monitor为服务治理平台，提供开发和运维人员服务查询、路由规则、服务Mock和测试等治理能力。

通过采用Dubbo+Zookeeper的服务模式进行数据分系统与业务分系统的交互，实现透明化的远程方法调用，只需简单配置，有效降低恶意API侵入的风险；并且Dubbo+Zookeeper模式能够对多服务器进行部署，可根据遥感应用数据在线定制与分析订单的数量进行负载均衡操作，从而加快遥感应用数据在线定制与分析的实时性；进一步地，注册中心模块基于接口名查询服务提供者的IP地址，并且能够平滑添加或删除服务提供者，不再需要写死服务提供方地址，实现服务自动注册与发现，从而大大提高系统的可扩展性和健壮性。

如图3所示，用户基于Http服务通过网络向注册中心发送配置参数，注册中心接收配置参数，完成用户注册，对多服务器进行部署，并根据遥感应用数据在线定制与分析订单的数量进行负载均衡操作，为用户提供准确的相匹配发的信息数据。

进一步地，注册中心模块5连接有管理模块9；

管理模块9，用于向注册中心模块5发布服务接口，此服务接口为对外公开的接口，供部分企业使用，并将使用任一服务接口的用户的信息生成相应的系统日志；此处，用户信息包括使用者的IP，访问方法，访问时间等信息。此处，服务接口的类型，例如为Java接口。

具体地，展示分系统4包括：检索模块10和定制分析模块11；

检索模块10，用于向用户提供输入检索信息的界面，并通过 RESTful接口发送至业务分系统3；

定制分析模块11，用于向用户提供输入配置参数的界面，并通过 RESTful接口发送至业务分系统3。

此处，RESTful接口基于Ajax设立，根据RESTful的易用特性，以及对多方技术调研与讨论，此遥感数据处理系统采用规范化的 RESTful接口，满足了原型系统的需求，并大大提高了原型系统的可扩展能力。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于) 具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，包括：一站式分系统(1)、数据分系统(2)、业务分系统(3)和展示分系统(4)；

所述一站式分系统(1)，用于采集多源遥感服务数据；

所述数据分系统(2)，用于接收并分析所述多源遥感服务数据，得到多源遥感服务信息；

所述业务分系统(3)，用于接收多源遥感服务信息，并从所述多源遥感服务信息中提取第一数据信息和第二数据信息；

所述展示分系统(4)，用于接收业务请求，所述业务请求包括用户身份信息；所述用户身份信息包括：第一用户信息和第二用户信息；

判断所述用户身份信息为第一用户时，输出所述第一数据信息；

判断所述用户身份信息为第二用户时，输出所述第二数据信息。

2.根据权利要求1所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述第一数据信息为定制化遥感数据信息；所述第二数据信息为公共基础遥感数据信息。

3.根据权利要求2所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述定制化遥感数据信息包括：结果分析信息，湖泊、农田等区域的实测横纵坐标、地图横纵坐标、经纬度等地物提取信息；所述公共基础遥感数据信息包括：结果影像信息，影像实际处理时的参数信息与结果拇指图信息等基础信息。

4.根据权利要求1所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述数据分系统(2)与所述业务分系统(3)之间设有注册中心模块(5)，用于为所述一站式系统(1)的数据传输提供注册通道；

和，

用于通过网络从所述数据分系统(2)中远程调用多源遥感服务信息至所述业务分系统(3)。

5.根据权利要求4所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述业务分系统(3)包括：检索下载模块(6)、第一分析服务模块(7)和系统日志模块(8)；

所述检索下载模块(6)，用于从所述注册中心模块(5)中获取多源遥感服务信息并下载；

所述第一分析服务模块(7)，用于从所述多源遥感服务信息中提取第一数据信息与第二数据信息；

所述系统日志模块(8)，用于根据所述业务分系统(3)中所产生的数据传输信息，生成系统日志。

6.根据权利要求4所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述注册中心模块(5)连接有管理模块(9)；

所述管理模块(9)，用于向所述注册中心模块(5)发布服务接口，并将使用任一服务接口的用户的信息生成相应的系统日志。

7.根据权利要求1所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述展示分系统(4)包括：检索模块(10)和定制分析模块(11)；

所述检索模块(10)，用于向用户提供输入检索信息的界面，并通过RESTful接口发送至所述业务分系统(3)；

所述定制分析模块(11)，用于向用户提供输入配置参数的界面，并通过RESTful接口发送至所述业务分系统(3)。

8.根据权利要求1所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述数据分系统(2)包括：数据接口调用模块(12)和第二分析服务模块(13)；

所述数据接口调用模块(12)，用于接收来自所述一站式分系统(1)的多源遥感服务数据；

所述第二分析服务模块(13)，用于分析多源遥感服务数据，得到多源遥感服务信息。

9.根据权利要求6所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，所述服务接口为Java接口。

10.根据权利要求1所述的一种基于微服务及RPC通信的遥感数据处理系统，其特征在于，还包括：与所述业务分系统(3)、所述数据分系统(2)网络连接的监控中心模块(14)；

所述监控中心模块(14)，用于监测所述业务分系统(3)与所述数据分系统(2)之间的通信网络状态。

Images