CN108289091A - 基于机架式服务器的遥感卫星地面基带数据处理系统 - Google Patents

Abstract

本发明提出一种基于机架式服务器的遥感卫星地面基带数据处理系统，由格式解析、解压缩和数据监控三个单元组成，解决了卫星处理的高速率、小型化、低成本、研制周期短、便于携带等问题，符合当前商业卫星的快响发展理念，有效提升了卫星处理系统的处理效率。与传统的刀片式服务器处理平台相比，该系统采用了基于机架式服务器的处理平台，具备大容量存储、高速写盘、数据处理速率快和易于小型化实现的优点。

Description

基于机架式服务器的遥感卫星地面基带数据处理系统

技术领域

本发明涉及遥感卫星数据处理技术领域，特别是基于机架式服务器的遥感卫星地面基带数据处理系统。

背景技术

随着遥感卫星业务日益增多，时间分辨率和空间分辨率越来越高，信息传输的实时性和全天候要求不断提高，对数传地面基带处理系统的能力带来了很大的挑战。目前，随着商业航天的飞速发展，小型化、低成本、快响化成为未来遥感卫星的一个重要发展方向。与此同时，对应的数传地面基带处理系统也在朝着小型化和低成本方向发展。而传统的基带处理系统都是基于刀片式服务器平台，成本高、性能一般、体积大和难以运输携带，无法顺应未来商业卫星发展的潮流。因此，本发明提出的数传地面基带处理系统是基于机架式服务器平台，采用通用化、标准化、模块化和小型化设计，可满足未来数传地面基带处理的高速率设计要求。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了基于机架式服务器的遥感卫星地面基带数据处理系统，解决了遥感卫星地面处理的高速率、小型化、低成本等研制难题，有效提升了遥感卫星地面系统的数据处理效率。与传统刀片式服务器处理平台在存储性能、写盘速率、数据处理速率和体积等方面进行比较表明，本发明通过在基带处理中进行加优设计，具备大容量存储、高速写盘、数据处理速率快和易于小型化实现的优点。

本发明的技术解决方案是：基于机架式服务器的遥感卫星地面基带数据处理系统，包括至少一个格式解析单元、至少一个解压缩单元、至少一个数据监控单元，其中：

格式解析单元，通过网络传输接收原始基带数据后进行数据判读、实时处理、去除格式信息、虚拟信道分离、有效数据提取，得到有效数据并实时发送至解压缩单元；

解压缩单元，接收到有效数据后进行帧头检测、解压缩处理，并对解压缩处理后的数据进行图像拼接、网络格式打包、信息判读，将信息判读后的数据发送至数据监控单元；

数据监控单元，对接收到的图像数据进行帧头检测、信息判读处理，并将图像数据进行实时显示。

所述的格式解析单元、解压缩单元、数据监控单元的网络传输是通过Socket编程实现的。

所述的格式解析单元、解压缩单元、数据监控单元是利用机架式服务器作为硬件平台。

所述的格式解析单元对接收到的原始基带数据进行数据判读、实时处理、去除格式信息、虚拟信道分离、有效数据提取所产生的中间数据进行存储。

所述的解压缩单元对接收到的有效数据进行帧头检测、解压缩处理，对解压缩处理后的数据进行图像拼接、网络格式打包、信息判读所产生的中间数据进行存储。

所述的数据监控单元对接收到的数据进行帧头检测、信息判读产生的最终数据进行存储。

所述的格式解析单元、解压缩单元、数据监控单元能够进行缓存分配动态调整、多线程处理。

本发明与现有技术相比的优点在于：

(1)本发明设计一种基于机架式服务器的遥感卫星地面基带数据处理系统，机架式服务器外观是按照统一的标准来设计，便于携带、模块化管理和密集部署，可直接封装到工业标准化的机柜产品中；

(2)本发明是一种通用化、标准化、模块化的设计，易于继承和扩展，可以实现一套设备多星处理；

(3)本发明是基于机架式服务器的硬件系统实现，可以通过简单的增加CPU和硬盘就能实现系统性能的大幅提升，使得产品易于修改和维护，大大节省了人力、物力和财力；

(4)本发明是基于机架式服务器的硬件平台实现的，与基于刀片服务器的数传地面基带处理系统相比，该系统体积缩小了10倍，实现了小型化的设计；

(5)本发明是基于机架式服务器的数传地面基带处理系统的实现，在最大限度利用硬件资源的平台上，对软件进行加优设计，使得地面基带处理系统的实现达到更高的处理效率。

附图说明

图1为数传地面基带处理设备总体方案框图；

图2为机架式服务器与刀片服务器性能测试比较实现框图；

图3为软件模块设计的实现框图。

具体实施方式

基于机架式服务器的遥感卫星地面基带数据处理系统，主要包括：格式解析单元、解压缩单元、数据监控单元；

格式解析单元：能够对原始基带数据进行格式解析处理，利用机架式服务器作为硬件平台，其前端接收数据和后端发送数据都是通过网络传输的方式实现的。网络传输采用Socket编程来实现，完成对数据的判读、实时处理、去除格式信息、虚拟信道分离、有效数据提取等功能，并实时发送给后端解压缩节点。同时，该单元具备存储功能，可以把需要的中间某级数据存储在本地机架服务器，以便分析查看。格式解析处理的功能具体描述如下：a)数据的判读：完成对格式解析单元接收到的原始基带数据的格式信息的正确性、帧头的正确性、载荷标识的正确性、计数器的连续性等信息进行判读，将判读的错误情况进行统计，并在界面实时显示或者告警；b)实时处理：能够对原始基带数据进行实时的处理，处理延时极其微小，并且完整的、无数据残留的把原始基带数据进行全部处理；c)去除格式信息：格式解析单元接收到的原始基带数据都是包含网络包头格式的数据，该步骤就是完成把网络包头信息进行去除，获得原始有效载荷数据；d)虚拟信道分离：完成对有效载荷数据根据不同的虚拟信道进行分离，从而得到各个虚拟信道的有效数据；e)有效数据提取：从各个虚拟信道的有效数据中，提取出最终真实有效的压缩码流数据，以便后续直接进行解压缩单元处理。

解压缩单元：接收到格式解析单元输出的数据后，进行帧头检测和解压缩处理，并对处理后的数据进行图像拼接、网络格式打包、信息判读等操作，将最终的网络格式数据发送给后端的数据监控单元。同时，解压缩单元具备存储功能，把需要的中间某级数据存储在本地机架服务器，以便后续分析查看。解压缩单元处理的功能具体描述如下：a)帧头检测：完成对解压缩单元接收到的原始压缩码流数据的帧头的正确性、载荷标识的正确性、计数器的连续性进行检测判读，将判读的错误情况进行统计，并在界面实时显示或者告警；b)解压缩处理：不同的卫星会采用不同的压缩算法，根据卫星的不同，采用相应的解压缩算法对压缩码流数据进行实时解压缩处理，得到解压缩后的图像数据；c)图像拼接：星上压缩的时候会根据需要对图像进行分块，因此，地面基带处理的时候就需要将解压缩后的分块图像根据要求进行图像拼接，图像拼接之后才能恢复出一幅完整的图像；d)网络格式打包：恢复出一幅完整的图像之后，需要在每幅完整图像数据里面增加一些网络包格式信息，这些格式信息与前端原始码流数据帧格式信息相对应，以便后续数据分析与定位；e)信息判读：完成对解压缩处理过程中的异常数据信息、图像拼接过程中的异常情况、以及最终的带网络包格式信息的图像数据的正确性进行判读或者告警。

数据监控单元：能够对解压缩单元输出的数据进行帧头检测和信息判读，并将图像数据实时显示在界面。同时，数据监控单元具备存储功能，把需要的最终图像数据存储在本地机架服务器，以便后续分析查看。数据监控单元处理的功能具体描述如下：a)帧头检测：完成对数据监控单元接收到的图像数据的网络包格式的正确性、帧头的正确性等信息进行检测判读，将判读的错误情况进行统计，并在界面实时显示或者告警；b)信息判读：完成对数据监控处理过程中的异常数据信息、图像是否缺块、计数器的连续性等信息进行判读或者告警。

本发明在机架式服务器的小型化硬件平台上，实现卫星地面基带数据的处理。机架式服务器外观是按照统一的标准来设计，便于携带、模块化管理和密集部署，可直接封装到工业标准化的机柜产品中。服务器硬件平台采用通用化、标准化、模块化设计，易于继承和扩展，通过简单的增加CPU和硬盘就能实现系统性能的大幅提升，使得产品易于修改和维护，大大节省了人力、物力和财力。与基于刀片服务器的地面基带数据处理方法相比，该系统体积缩小了10倍，易于小型化。该系统内部使用万兆网交换，通过配置多个虚拟网络地址，把各个通道的软件全部部署在机架服务器上，从而满足地面基带数据高速率处理的需求。通过调整各功能模块中的缓存分配以及多线程处理机制，对各个功能软件进行了优化，从而更加高效地处理数据。

本发明公开了一种基于机架式服务器的遥感卫星地面基带数据处理系统(如图1所示)，主要包括格式解析单元、解压缩单元和数据监控单元。这里，在硬件和软件两方面进行测试比较，从而验证本发明的实际效果。

一、硬件方面

以1000幅，1536*3072像素的真实卫星图像作为测试数据，采用相同的功能处理软件，分别对传统的刀片式服务器平台和本发明提出的机架式服务器进行测试，具体实施过程为：在刀片式服务器处理平台和机架式服务器处理平台上，分别对上述基带数据进行测试，根据不同的测试数据编号和压缩比，统计处理每组数据所消耗的时间，统计结果如表1所示。可以看出，本发明提出的机架式服务器平台所消耗的时间小，处理速度高，性能好。同时，如图2所示的对比折线可以看出，机架式服务器平台处理速度优于刀片服务器。

表1机架式服务器与刀片服务器性能测试比较

二、软件方面

在卫星数传地面基带数据处理的过程中，除了硬件平台之外，还有功能软件是最重要的组成部分。如果功能软件能够得到更优化设计，那么整个数传基带处理系统将会实现本质性的性能提升，本发明的软件设计工作流程如图3所示。其中，原始基带数据通过输入接口，进入数据输入模块，通过数据输入接收模块进入数据判读模块，数据判读模块对原始基带数据进行判读和格式拆解，然后送入数据处理功能模块。数据处理功能模块对数据进行一系列的处理之后，把处理后的数据送到数据判读模块，进行判读，对错误信息进行统计，把数据打包成具体的数据格式，然后送到数据输出模块，最后通过输出接口发送给后端设备。在整个任务过程中，通过远程监视控制模块对任务下发指令参数任务，并通过节点控制软件对各个功能软件进行控制。同时，各个功能软件通过节点控制软件给远程监控模块上报判读信息和运行状态实时上报信息。

本发明对数据处理功能模块进行了加优设计，主要是通过配合网络发送能力调整每个模块中的缓存分配以及多线程处理机制予以保证，优化过程如下：

(1)根据数据处理模块属性的不同，对数据处理模块发送给后端的缓存队列的大小进行相应的不同的动态分配；

(2)采用多线程处理机制，对网络接收处理线程和网络存储线程采用分别的设计，网络接收处理线程完成数据处理模块的网络数据接收功能；网络存储线程完成数据处理模块的数据存储功能；

(3)采用多个数据模块并行处理线程组的模式，从而提高数据处理的效率。

对功能软件进行了上述的加优设计之后，具体测试过程实施如下：

硬件环境：机架式服务器。

测试数据：大小为256KB(5倍压缩)，进行10bit量化，数据处理后的数据为1024K像素。对该文件循环测试100次，分别进行5次统计结果输出。解压输出码速率＝10*1024*1024/(T/100)(Mbps)。

测试结果如表2所示。可以看出，在机架式服务器硬件处理平台上，数据处理功能软件经过加优设计后，可以实时完成实时处理，达到高速率的处理要求。

表2数据处理模块处理能力测试结果

次数	运行时间(s)	处理速度(Mbps)
			1	1.17	930
2	1.19	920
			3	1.15	941
4	1.11	963
			5	1.15	941
均值	1.154	930

最后可以看出，机架式服务器外观小，节省空间，便于携带和统一管理。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (7)

1.基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于包括至少一个格式解析单元、至少一个解压缩单元、至少一个数据监控单元，其中：

格式解析单元，通过网络传输接收原始基带数据后进行数据判读、实时处理、去除格式信息、虚拟信道分离、有效数据提取，得到有效数据并实时发送至解压缩单元；

解压缩单元，接收到有效数据后进行帧头检测、解压缩处理，并对解压缩处理后的数据进行图像拼接、网络格式打包、信息判读，将信息判读后的数据发送至数据监控单元；

数据监控单元，对接收到的图像数据进行帧头检测、信息判读处理，并将图像数据进行实时显示。

2.根据权利要求1所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的格式解析单元、解压缩单元、数据监控单元的网络传输是通过Socket编程实现的。

3.根据权利要求1或2所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的格式解析单元、解压缩单元、数据监控单元是利用机架式服务器作为硬件平台。

4.根据权利要求1或2所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的格式解析单元对接收到的原始基带数据进行数据判读、实时处理、去除格式信息、虚拟信道分离、有效数据提取所产生的中间数据进行存储。

5.根据权利要求1或2所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的解压缩单元对接收到的有效数据进行帧头检测、解压缩处理，对解压缩处理后的数据进行图像拼接、网络格式打包、信息判读所产生的中间数据进行存储。

6.根据权利要求1或2所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的数据监控单元对接收到的数据进行帧头检测、信息判读产生的最终数据进行存储。

7.根据权利要求1或2所述的一种基于机架式服务器的遥感卫星地面基带数据处理系统，其特征在于：所述的格式解析单元、解压缩单元、数据监控单元能够进行缓存分配动态调整、多线程处理。