CN112910546A - 卫星数据采集系统和方法 - Google Patents

Abstract

本申请提供一种卫星数据采集系统和方法，系统包括基带设备层、客户端层、消息队列层、基带应用服务层和数据存储层；基带设备层，用于对基带设备层中基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；客户端层，用于对卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据；消息队列层，用于将第二卫星数据加入到预设消息队列；基带应用服务层，用于监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；数据存储层，用于将目标卫星数据持久化至预设数据库。在本申请能够防止数据丢失和避免数据阻塞，保证数据完整性，提高卫星数据采集系统的稳定性。

Description

卫星数据采集系统和方法

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种卫星数据采集系统和方法。

背景技术

随着市场对微小卫星的需求不断增多，对稳定快速的卫星数据采集系统提出了更高的要求。卫星数据采集系统的数据传输方式是以秒为单位的高频次传输方式，但是传统的卫星数据采集系统结构繁杂、功能交错，而高频次传输方式的数据量非常大，会造成传统系统在数据传输过程中出现数据阻塞和延迟，甚至出现数据丢失。可见当前的卫星数据采集系统存在数据传输不稳定的问题。

发明内容

本申请实施例的目的在于提供一种卫星数据采集系统和方法，旨在解决当前卫星数据采集系统存在数据传输不稳定的问题。

第一方面，本申请实施例提供了一种卫星数据采集系统，包括基带设备层、客户端层、消息队列层、基带应用服务层和数据存储层，基带设备层与客户端层通信连接，客户端层与消息队列层通信连接，消息队列层与基带应用服务层，基带应用服务层与数据存储层通信连接；

基带设备层，用于对基带设备层中基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；

客户端层，用于向基带设备层的卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据；

消息队列层，用于将第二卫星数据加入到预设消息队列，预设消息队列能够对第二卫星数据进行异步化操作；

基带应用服务层，用于监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；

数据存储层，用于将目标卫星数据持久化至预设数据库。

在本实施例中，通过对基带设备采集的卫星数据进行统一整理和规范化输出，降低接入不同硬件的开发成本以及维护成本，提高卫星数据的输出效率；通过向基带设备层的卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据，为卫星数据的快速流转提供技术支撑；通过预设消息队列对第二卫星数据进行异步化操作，能够防止数据丢失和避免数据阻塞，保证数据完整性，提高卫星数据采集系统的稳定性；通过监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，以及将目标卫星数据持久化至预设数据库，完成数据处理与存储。

进一步地，基带设备基于tcp协议进行数据传输，基带设备层对所有基带设备的所有tcp通信端口进行统一管理。

在本实施例中，对所有基带设备进行统一管理，降低硬件维护成本和舔狗卫星数据的输出效率。

进一步地，客户端层包括多个基于SpringBoot框架技术开发的Netty客户端。

在本实施例中，使用Netty框架可以进行粘包和拆包处理，对于卫星数据的快速流转提供技术支撑，多个Netty客户端统一流转数据，提高客户端的数据流转性能。

进一步地，预设消息队列为Rabbitmq消息队列。

在本实施例中，Rabbitmq的异步化操作，对于防止数据丢失以及队列阻塞都有很好的优化应对方式，对于数据的修正、新增和更改起到辅助功能。

进一步地，消息队列层通过云端服务器与基带应用服务层进行tcp协议通信。

在本实施例中，通过云端服务器以tcp协议通信的方式，实现卫星数据进行高频次、高负载的快速流转。

进一步地，基带应用服务层包括多个基带应用服务器，基于Nacos注册中心对多个基带应用服务器进行集群化管理。

在本实施例中，多个基带应用服务器能够实现对卫星数据进行统一处理，提高系统的数据处理性能。

进一步地，集群化管理包括根据基带应用服务器的运行性能，按照预设分配策略，分配用于对第二卫星数据进行逻辑业务处理的基带应用服务器。

在本实施例中，Nacos注册中心可以根据基带应用服务器的运行性能优化的分配基带应用服务器，极大的提高服务器的使用效率，以及业务数据的流转性能，防止在大量数据高并发、高负载下的造成服务器的运行缓慢，提高系统稳定性。

进一步地，基带应用服务器基于SpringCloud微服务开发框架开发得到。

在本实施例中，以微服务框架开发基带应用服务器能够使得系统轻量化，提高系统稳定性。

进一步地，预设数据库为HBase数据库。

在本实施例中，Hbase数据库的读写性能非常强，不会造成卫星数据的读写卡顿，进一步提高系统稳定性。

第二方面，本申请实施例提供了一种卫星数据采集方法，应用于卫星数据采集系统，方法包括：

对基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；

对卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据；

将第二卫星数据加入到预设消息队列，预设消息队列能够对第二卫星数据进行异步化操作；

监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；

将目标卫星数据持久化至预设数据库。

需要说明的是，第二方面的有益效果可参见第一方面的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的卫星数据采集系统的结构示意图；

图2为本申请另一实施例提供的卫星数据采集系统的结构示意图；

图3为本申请实施例提供的卫星数据采集方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如背景技术相关记载，卫星数据采集系统的数据传输方式是以秒为单位的高频次传输方式，但是传统的卫星数据采集系统结构繁杂、功能交错，而高频次传输方式的数据量非常大，会造成传统系统在数据传输过程中出现数据阻塞和延迟，甚至出现数据丢失。可见当前的卫星数据采集系统存在数据传输不稳定的问题。

针对上述现有技术中的问题，本申请提供了一种卫星数据采集系统和方法，通过对基带设备采集的卫星数据进行统一整理和规范化输出，降低接入不同硬件的开发成本以及维护成本，提高卫星数据的输出效率；通过向基带设备层的卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据，为卫星数据的快速流转提供技术支撑；通过预设消息队列对第二卫星数据进行异步化操作，能够防止数据丢失和避免数据阻塞，保证数据完整性，提高卫星数据采集系统的稳定性；通过监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，以及将目标卫星数据持久化至预设数据库，完成数据处理与存储。

参见图1，图1示出了本申请实施例提供的一种卫星数据采集系统的结构示意图。本申请实施例提供的卫星数据采集系统，包括基带设备层101、客户端层102、消息队列层103、基带应用服务层104和数据存储层105，基带设备层101与客户端层102通信连接，客户端层102与消息队列层103通信连接，消息队列层103与基带应用服务层104，基带应用服务层104与数据存储层105通信连接；

基带设备层101，用于对基带设备层中基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；

客户端层102，用于向基带设备层的卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据；

消息队列层103，用于将第二卫星数据加入到预设消息队列，预设消息队列能够对第二卫星数据进行异步化操作；

基带应用服务层104，用于监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；

数据存储层105，用于将目标卫星数据持久化至预设数据库。

在本实施例中，基带设备层101接入多个基带设备，基带设备可分为UV基带和X基带等。按照不同基带设备对卫星数据采集过程的物理功能性不同，将基带设备进行分类整理并进行封装。同时，对所有基带设备采集的卫星数据进行统一整理和规范化(结构化)，降低基带设备的开发成本以及维护成本，提高卫星数据的输出效率。

客户端层102包括多个客户端，每个客户端均可以对卫星数据包进行粘包和拆包处理，为卫星数据的快速流转提供技术支持。粘包为获取基带设备层输出的卫星数据包的过程，拆包为对卫星数据包进行拆解的过程。

消息队列层103包括预设消息队列，预设消息队列可以是Rabbitmq、kafka等消息队列。消息队列能够对卫星数据进行异步化操作，异步化操作可以将卫星数据持久化到硬盘，再将卫星数据从硬盘加载到内存，以有效防止数据丢失，保证数据完整性。

基带应用服务层104配合消息队列的异步化操作，对消息队列中的卫星数据进行逻辑业务处理，以得到目标卫星数据。数据存储层105持久化目标卫星数据，完成数据存储。

传统的卫星数据采集系统结构繁杂，功能交错，容易造成数据阻塞。而本申请实施例实现了基带设备的统一管理，卫星数据的统一接入、统一采集和统一存储。以及引入消息队列的异步化技术，解决了数据流转阻塞问题，为系统支持大数据量做出性能优化。

在图1实施例的基础上，图2示出了本申请另一实施例提供了卫星数据采集系统的结构示意图。消息队列层103通过云端层201中的云端服务器与基带应用服务层104进行传输控制协议(Transmission Control Protocol，TCP)通信。

在本实施例中，卫星数据采集系统基于HSNR(Hardware、SpringBoot、Netty、Rabbitmq)架构设计模式。具体地，HSNR架构设计模式基于java开发语言开发设计，以SpringBoot为基础开发框架，采用TCP长链接数据传输协议进行通信，按照卫星数据在不同系统层的流转状态进行结构调整。Hardware基带设备层中的基带设备的数据传输过程采用tcp协议通信，基带设备层对所有基带设备的卫星数据进行规范化、格式化管理；基于SpringBoot的Java基础开发框架，开发基于tcp协议的Netty客户端，基于SpringCloud开发基带应用服务器；运用Rabbitmq技术，对卫星采集数据进行异步化消息队列处理。

基带设备的数据传输采用的是tcp协议，其采集的卫星数据均是字节帧数据。基于SpringBoot技术和Netty技术开发基于tcp协议的Nstty客户端，将基带设备采集的卫星数据进行统一的数据接收处理；其次，地面服务器(基带应用服务器)与云端服务器的数据交互过程采用长链接异步处理方式，使得卫星数据能够进行高频次、高负载的快速流转；最后，搭建具备高性能的Hbase数据持久化集群，对卫星数据进行持久化存储处理。

本实施例中Netty客户端为采用基于SpringBoot的Java开发框架和Netty框架开发tcp客户端。由于基带设备全部使用的是tcp协议，所以使用Netty框架对接基带设备的Netty客户端就必须是tcp客户端。tcp协议数据传输使用的是字节数组，所以在Netty客户端需要把字节数组转化成云端层需要的JSON格式。同时，使用Netty框架可以进行粘包和拆包处理，为卫星采集数据的快速流转提供技术支撑。将Netty客户端进行集群化搭建，可以提高客户端的数据流转性能。

Rabbitmq是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)，由以高性能、健壮以及可伸缩性出名的Erlang写成。Rabbitmq可伸缩性非常强，可以进行单一的服务器治理，也可以进行集群化治理，集群化的Rabbitmq性能非常强，其可以将卫星数据对应的消息持久化到硬盘，再从硬盘加载到内存。Rabbitmq消息队列的异步化操作，能够防止数据丢失以及消息队列阻塞，对数据修正、新增和更改起到辅助作用。

云端层201中的云端服务器可以是云端ECS服务器，通过互联网的方式，将数据进行云端流转。在互联网条件下，最大程度保证数据在非阻塞情况下的快速传输与存储以及数据延迟。此系统设计对于卫星数据在高频次采集、服务器高并发、高负载情况下具有良好稳定的采集效果。

基带应用服务器基于SpringCloud微服务开发框架，按照微服务的设计理念进行架构开发，采用Nacos注册中心对基带应用服务器进行集群化管理。基带应用服务器的业务逻辑对Rabbitmq的消息队列进行监听，这样可以实时的获取队列中的卫星采集数据进行逻辑业务化处理。Nacos注册中心可以根据应用服务的运行性能优化的分配基带应用服务器，极大的提高服务器的使用效率以及业务数据的流转性能，防止在大量数据高并发、高负载的情况下造成服务器的运行缓慢，以及应用服务崩溃。

HBase数据库是一个分布式的、面向列的开源数据库，是一个适合于非结构化数据存储的数据库。Hbase作为大数据概念的数据持久化数据库，将其应用于卫星采集数据的持久化方面，能起到非常好的效果。Hbase的读写性能非常强，不会因数据库的性能问题，造成卫星数据的读写卡顿。

参见图3，本申请实施例提供了一种卫星数据采集方法，应用于卫星数据采集系统，该方法包括步骤301至S305。

S301，对基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包。

在本实施例中，结构化为对所有与基带设备采集的第一卫星数据进行整合，以统一的数据格式进行数据输出的过程。由于基带设备是卫星采集设备，其采集的卫星数据需要传输至相应的客户端进行收集，为保证数据完整性，所以以数据包的方式进行传输。通过对所有硬件采集的数据进行统一整理规范化输出，降低接入不同硬件的开发成本以及维护成本，提高卫星数据的输出效率。

S302，对卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据。

在本实施例中，粘包和拆包过程可基于Netty实现。通过使用Netty框架可以进行粘包和拆包处理，对于卫星采集数据的快速流转，提供技术支撑。

S303，将第二卫星数据加入到预设消息队列，预设消息队列能够对第二卫星数据进行异步化操作。

在本实施例中，预设消息队列可以是Rabbitmq、kafka等消息队列，优选为Rabbitmq。Rabbitmq的异步化操作，对于防止数据的丢失，以及队列的阻塞都有很好的优化应对方式，对于数据的修正，新增，更改起到辅助功能。

S304，监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据。

在本实施例中，基带应用服务器的业务逻辑层对Rabbitmq的消息队列进行监听，这样可以实时获取消息队列中的卫星数据进行逻辑业务处理。

S305，将目标卫星数据持久化至预设数据库。预设数据库可以是HBase数据库。

本实施例通过对基带设备采集的卫星数据进行统一整理和规范化输出，降低接入不同硬件的开发成本以及维护成本，提高卫星数据的输出效率；通过向基带设备层的卫星数据包进行粘包操作，并对粘取得到的卫星数据包进行拆包处理，得到第二卫星数据，为卫星数据的快速流转提供技术支撑；通过预设消息队列对第二卫星数据进行异步化操作，能够防止数据丢失和避免数据阻塞，保证数据完整性，提高卫星数据采集系统的稳定性；通过监听预设消息队列，并对预设消息队列中的第二卫星数据进行逻辑业务处理，以及将目标卫星数据持久化至预设数据库，完成数据处理与存储。

需要说明的是，本申请实施例的基带设备、基带应用服务器、云端服务器、客户端等计算机设备，可包括但不仅限于处理器、存储器。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器在一些实施例中可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器在另一些实施例中也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种卫星数据采集系统，其特征在于，包括基带设备层、客户端层、消息队列层、基带应用服务层和数据存储层，所述基带设备层与所述客户端层通信连接，所述客户端层与所述消息队列层通信连接，所述消息队列层与所述基带应用服务层，所述基带应用服务层与所述数据存储层通信连接；

所述基带设备层，用于对所述基带设备层中基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；

所述客户端层，用于向所述基带设备层的所述卫星数据包进行粘包操作，并对粘取得到的所述卫星数据包进行拆包处理，得到第二卫星数据；

所述消息队列层，用于将所述第二卫星数据加入到预设消息队列，所述预设消息队列能够对所述第二卫星数据进行异步化操作；

所述基带应用服务层，用于监听所述预设消息队列，并对所述预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；

所述数据存储层，用于将所述目标卫星数据持久化至预设数据库。

2.根据权利要求1所述的卫星数据采集系统，其特征在于，所述基带设备基于tcp协议进行数据传输，所述基带设备层对所有所述基带设备的所有tcp通信端口进行统一管理。

3.根据权利要求1所述的卫星数据采集系统，其特征在于，所述客户端层包括多个基于SpringBoot框架技术开发的Netty客户端。

4.根据权利要求1所述的卫星数据采集系统，其特征在于，所述预设消息队列为Rabbitmq消息队列。

5.根据权利要求1所述的卫星数据采集系统，其特征在于，所述消息队列层通过云端服务器与所述基带应用服务层进行tcp协议通信。

6.根据权利要求1所述的卫星数据采集系统，其特征在于，所述基带应用服务层包括多个基带应用服务器，基于Nacos注册中心对多个所述基带应用服务器进行集群化管理。

7.根据权利要求6所述的卫星数据采集系统，其特征在于，所述集群化管理包括根据所述基带应用服务器的运行性能，按照预设分配策略，分配用于对所述第二卫星数据进行逻辑业务处理的所述基带应用服务器。

8.根据权利要求6或7所述的卫星数据采集系统，其特征在于，所述基带应用服务器基于SpringCloud微服务开发框架开发得到。

9.根据权利要求1所述的卫星数据采集系统，其特征在于，所述预设数据库为HBase数据库。

10.一种卫星数据采集方法，其特征在于，应用于权利要求1所述的卫星数据采集系统，所述方法包括：

对基带设备采集的第一卫星数据进行结构化，并将结构化结果输出为卫星数据包；

对所述卫星数据包进行粘包操作，并对粘取得到的所述卫星数据包进行拆包处理，得到第二卫星数据；

将所述第二卫星数据加入到预设消息队列，所述预设消息队列能够对所述第二卫星数据进行异步化操作；

监听所述预设消息队列，并对所述预设消息队列中的第二卫星数据进行逻辑业务处理，得到目标卫星数据；

将所述目标卫星数据持久化至预设数据库。

Images