CN102829869B - 针对大孔径静态干涉成像光谱仪的地面测试系统 - Google Patents

Abstract

本发明提供一种针对大孔径静态干涉成像光谱仪的地面测试系统，以匹配LASIS高光谱成像仪输出数据的性能需求和功能需求。本发明包括缓存节点、预处理节点、解码节点和显示节点，分别规划有多个网段，每个节点的各个网口都隶属于不同的网段；预处理节点、解码节点和显示节点通过光纤交换机构成万兆局域网。本发明能够匹配满足LASIS高光谱成像仪的各项性能和功能指标。对于以后测试需求的变化，仅改变软件即可，解压缩节点的数量可根据实际需要进行裁剪或扩展，解压缩软件不需要做修改即可满足JPEG2000解压缩运算，将其部署于任何一台服务器即可成为解压缩节点，使系统具有可重用性。

Description

针对大孔径静态干涉成像光谱仪的地面测试系统

技术领域

本发明涉及卫星有效载荷测试技术，具体涉及一种针对大孔径静态干涉成像光谱仪（LASIS）的地面测试系统。

背景技术

大孔径静态干涉成像光谱仪（以下简称LASIS高光谱成像仪）是一种能够同时产生图像和干涉数据的新型仪器，即产生的每一帧数据中同时包含“图像和干涉数据”（以下简称LASIS帧）。仪器具有帧频高，光谱分辨率高，信息丰富，数据速率高，数据量大的特点。

为了适应星地传输通道带宽，提高传输效率，LASIS高光谱成像仪产生的LASIS帧需要进行压缩，JPEG2000是一种压缩率和压缩质量最好的有损压缩方法，由于LASIS帧内部的相关性较弱，为了进一步提高压缩质量，首先要将LASIS帧进行“行重排”，使重排后的每帧内部相关性增强，然后再进行JPEG2000压缩，最后传输至地面测试设备。在地面测试期间，需要对压缩后的数据帧进行预处理、压缩数据存储、解压缩、解压缩数据存储、对“行重排”后的数据恢复重建成LASIS帧、LASIS帧的滚动方式和凝视方式的抽帧显示，以直观方式检验仪器是否正常工作。

LASIS高光谱成像仪在最高的帧频工作模式下，输出的压缩码流速率可达900Mbps，压缩倍率为8倍，用两个通道同时传输至地面测试系统，每个通道的速率可达450Mbps，每个通道包含可见波段和红外波段的高光谱数据，这两种数据的比例为3:1，需要分别解压缩和显示，解压缩后的数据码率约为900Mbps*8≈7Gbps，要求地面测试系统对数据的接收和处理不会阻塞前端的传输通道。

除了以上性能需求外，还有以下功能需求：

1）预处理环节要求去除不完整帧，进行帧对齐，然后按特定帧数存储成一包包文件，同时发送给解压缩环节；若显示设备有回放需求，最好还能够响应显示设备的回放指令；

2）解压缩环节要求在解压缩完毕后，存储解压缩数据的同时，发送给显示设备；若显示设备有回放需求，最好还能够响应显示设备的回放命令；

3）显示环节能够进行LASIS帧的恢复重建，由于帧频过高，还需要进行一定步长的抽帧显示，并能进行显示速度调整；能够发送数据回放指令，从预处理回放压缩数据和从解压缩回放解压缩后的数据。

LASIS高光谱成像仪图谱合一、高压缩率和高传输速率的特点，使得目前的地面测试系统无论从功能上还是从性能上都无法满足要求。

发明内容

本发明提供一种针对大孔径静态干涉成像光谱仪的地面测试系统，以匹配LASIS高光谱成像仪输出数据的性能需求和功能需求。

为实现以上发明目的，本发明提供以下基本解决方案。

针对大孔径静态干涉成像光谱仪的地面测试系统，包括缓存节点、预处理节点、解码节点和显示节点，分别规划有多个网段，每个节点的各个网口都隶属于不同的网段；预处理节点、解码节点和显示节点通过光纤交换机构成万兆局域网；

缓存节点配置两路光纤网口形成两个数据输入通道，配置两路千兆网口作为输出；

预处理节点配置两路千兆网口作为输入，配置两路千兆网口作为输出；预处理节点接收来自缓存节点的输出数据，从中分离出可见光谱段数据和红外谱段数据，然后分别进行帧格式的对齐、帧错误的记录，最后分别进行打包存储至第一磁盘阵列，并将压缩流数据发送至解码节点；

解码节点采用多台机架式服务器组成松散耦合的集群解压缩系统，各台服务器的解压缩软件相同，采用多线程技术实现解压缩，解压缩数据存储至第二磁盘阵列，输出数据至显示节点；在每台服务器上安装MPICH作为集群计算基础代理，解压缩软件的调度和通信采用集群并行计算技术（MPI）实现；所述多线程技术是将解压缩软件划分为多个工作线程，并依据每个工作线程的任务重要程度设置为不同的优先级，每个工作线程之间通过操作系统内核信号量进行同步与通信，通过全局内存进行数据传输与共享，通过设置互斥量进行共享数据的安全性保护；

显示节点中，对应于双通道的四种类型的数据（可见光波段一通道数据、可见光波段二通道数据、红外波段一通道数据和红外波段二通道数据）设置有相互独立的缓存区，根据初始化设置的步长取出数据进行隔帧显示。

基于上述基本技术方案，本发明还进行了以下优化改进和限定。

解码节点中，所述多个工作线程包括主线程、日志线程、定时状态报告线程、接收线程、解压缩线程、写文件线程和数据发送线程；由接收线程进行数据接收，将来自预处理节点的压缩流数据存放入缓存，并通知解压缩线程开始多线程解压缩，每个解压缩线程运行于空闲的CPU物理核上，解压缩结束后通知接收线程、数据发送线程和写文件线程，并锁定下一个缓存，被解锁的缓存由接收线程继续使用。对现有解压缩算法进行改进，提升了抗误码能力，提升了高误码率情况下的稳定性。

显示节点还建立有回放指令发送线程，用以将回放指令封装后发送给预处理节点和/或解码节点；预处理节点和/或解码节点还设置有指令接收模块，用以接收并解析来自显示节点的回放指令，将所需的数据最终发送至显示节点。

所述第一磁盘阵列采用RAID10模式组合多块硬盘构成，存储速度不低于900Mbps，总容量不小于200GB；所述第二磁盘阵列采用RAID0模式组合多块硬盘构成，存储速度不低于7Gbps，总容量不少于800GB。

解码节点中，每台服务器的CPU有8个物理核，每个CPU物理核的解压缩性能不低于40Mbps。

所述第一磁盘阵列和第二磁盘阵列也通过所述光纤交换机接入万兆局域网。

上述缓存节点与预处理节点构成点对点直连网络。

本发明具有以下优点：

本发明能够匹配满足LASIS高光谱成像仪的各项性能和功能指标。

对于以后测试需求的变化，仅改变软件即可，解压缩节点的数量可根据实际需要进行裁剪或扩展，解压缩软件不需要做修改即可满足JPEG2000解压缩运算，将其部署于任何一台服务器即可成为解压缩节点，使系统具有可重用性。

附图说明

图1为本发明的系统整体结构和流程图。

图2为本发明的系统硬件连接和网络规划图。

具体实施方式

本发明的设计原则如下：

1、各个处理节点功能合理划分。单个节点所包含的功能模块之间相关性要强，节点之间通信接口和交互尽量少，保持松耦合，高内聚的特点，便于系统复用。

2、尽量利用商业服务器或通用硬件+软件来实现性能和功能，以保证系统的可复用性、灵活性和后期成本的降低。

3、确保关键数据的存储速度和存储安全性，系统接收到的压缩数据是最关键的数据，因为来自源头的压缩数据是测试过程中发现仪器错误的关键性依据。

4、利用并行计算技术充分发挥硬件性能，提高资源利用率。

5、确保不影响前端的通道传输，为了达到这一要求，需要在预处理之前设置专门的缓存节点，用来缓解地面测试系统对传输通道的影响。另外，每个节点之间最好也设计缓存来平滑整个通信链路。

6、网络规划划分网段，条理清楚，地址分配有规律，便于系统维护和管理。

LASIS高光谱成像仪数据分两个通道进行传输、处理和显示，两个通道相互独立，互不影响。因此仅对单个通道的性能进行分解，单通道输入的压缩数据速率为450Mbps，由于采用TCP协议传输，所以数据是按照串行顺序进入测试系统的，整个系统中的各个节点实际上是一种串行处理流程，为了确保数据及时被处理，不阻塞前端的传输通道，每个节点的单通道数据处理能力都不能小于450Mbps。

如图1所示本发明的地面测试系统整体结构和流程图，图中的解压缩节点仅列出了一个，其他三个解压缩节点是一样的，所有节点都利用了相同的缓存平滑技术。按照上面制定的设计原则，系统设计、节点的功能分解和设计情况如下：

一、缓存节点

用一台普通服务器作为缓存节点，在节点上部署一个64位版本的数据缓存与转发软件，软件将接收到的数据存于一个较大的缓存区中，并从缓存区中发送数据给下一个节点；配置两路光纤网口作为输入通道，两路千兆网口作为输出，配备较大的内存和具有多个物理核的CPU，安装64位操作系统。

二、预处理节点

用一台高性能服务器作为预处理节点，其功能是接收数据，从中分离出可见光谱段数据和红外谱段数据，然后分别进行帧格式的对齐、帧错误的记录，最后分别进行打包存储和数据发送。配置两路千兆网口作为输入，两路千兆网口作为输出，除系统硬盘外，配置一个由多块高性能硬盘组成的大容量磁盘阵列，磁盘阵列的存储速度不能少于900Mbps，根据仪器每次工作的时间最长为15分钟，可计算单次工作最大的数据量为2*450Mbps*15*60≈100GB，为了兼顾数据安全性和存储速度，采用RAID10模式进行磁盘阵列组合，那么磁盘阵列的总容量不能小于2*100GB=200GB。

预处理节点的回放指令响应设计：

在实现上面的功能流程后，在其中加入指令接收模块，接收到回放指令后，根据预先设置的回放协议（以结构体数据类型表示）解析指令，解析完毕后设置相关全局变量的状态。发送模块就会根据变量状态去执行压缩数据的发送。

三、解压缩节点（解码节点）

解压缩和解压缩数据的存储对性能要求是最高的，在双通道传输时，解压缩节点的处理速度不能低于900Mbps，解压缩后输出的数据码率约为900Mbps*8≈7Gbps，磁盘的存储速度不能少于7Gbps。考虑到数据的安全性和存储带宽，解压缩数据需要配置单独的磁盘阵列进行存储，由于解压缩数据的关键性略低，而且对存储速度的要求更高，综合考虑后采用RAID0模式进行磁盘阵列组合，所以存储容量不能少于7Gbps*15*60≈800GB。

对于JPEG2000解压缩而言，可考虑硬件和软件两种方案。硬件上可采用商业公司的解压缩芯片，根据现有解压缩芯片的性能，需要多个芯片并行处理，设计专门的外围电路接口、存储系统和驱动，速度和稳定性较高，但是这种方案的灵活性很差，不便于扩展。因此，本发明采用以下软件方式实现。

为了估计解压缩节点的规模，首先要验证单核CPU，单线程串行模式下，解压缩软件的性能，采用某厂商的主流机架式服务器作为验证平台，单核解压缩的性能约为50Mbps，其CPU是8个物理核心，最终单台服务器8核解码的性能约为300Mbps，考虑到一定的余量，最终确定采用4台机架式服务器组成松散耦合的集群解压缩系统，各台服务器的解码软件相同，经过配置文件的初始化设置可实现双通道不同数据类型的解压缩。

解压缩软件的调度和通信采用集群并行计算技术MPI实现，需要在每台服务器上安装MPICH作为集群计算基础代理。解压缩软件本身采用多线程技术实现解压缩，并采用多种优化技术，具体技术方案如下：

1）对称多处理器（SMP）的多核多线程的工作架构设计

根据软件功能和流程，将软件划分为内聚度高、耦合性小的多个工作线程，并依据每个线程的任务重要程度设置不同的优先级，每个线程之间通过操作系统内核信号量进行同步与通信，通过全局内存进行数据传输与共享，通过设置互斥量进行共享数据的安全性保护，实现了线程间的高效、安全和无缝运转。划分的线程主要包括主线程、日志线程、定时状态报告线程、压缩流数据侦听接收线程、解压缩线程、写文件线程和数据发送线程。大致流程如下，由接收线程进行数据接收后，存放入缓存中，并通知解码线程开始多线程解码，每个解码线程运行于空闲的CPU物理核上，解码结束后通知接收、发送和写线程，并锁定下一个缓存，被解锁的缓存由接收线程继续使用。

2）数据回放指令响应设计

在实现上面的功能流程后，在其中加入指令接收模块，接收到回放指令后，根据预先设置的回放协议（以结构体数据类型表示）解析指令，解析完毕后设置相关全局变量的状态。

发送模块就会根据变量状态去执行解压缩数据的发送。

3）采用多种优化手段：

●数据预读取，内存预分配；

●采用指针进行地址指向；

●采用基于链表的循环队列数据结构进行数据缓存；

●采用操作系统内核同步机制进行线程通信和同步；

●采用操作系统原生API写文件函数以异步I/O和无缓存方式写文件；

●采用结构体对齐技术优化CPU访问效率。

4）解压缩算法的抗误码能力设计

高误码率会导致JPEG2000算法效率降低，系统进入死循环或者导致系统崩溃等无法预料的后果。对JPEG2000标准推荐的开源算法进行改进，按照JPEG2000的标准对标识位和解码信息进行校验，针对固定不变的标识进行强制纠错和初始化，针对动态变化的标识进行有效范围判定，增强了抗误码能力，在高误码的情况下，解压缩节点能够正常工作。

四、显示节点

显示节点的功能包括，接收双通道中四种类型的数据到相互独立的缓存区中，根据设置的速度从缓存区中取出数据进行显示，显示时根据需要进行“行重排”后帧显示或行恢复后的LASIS帧显示，显示方式提供凝视方式显示和滚动屏幕的方式显示，根据一段时间内帧频的高低决定抽帧显示的步长。

五、网络规划与拓扑方案

如图2所示，本发明优化的系统硬件连接和网络规划图。

合理的划分网路，能从整体上提高传输速率，从连接方式上，整体系统规划为四个网络：

1）测试系统与外部的接口网络，利用双IB卡和4Gb带宽的光纤线实现双通道数据传输；

2）缓存节点与预处理节点之间的点对点直连网络，总共的带宽为2000Mb，能够承载900Mbps的数据量；

3）预处理节点、解压缩节点和显示节点组成的万兆局域网。考虑到整个系统在同一时刻，每个处理节点之间都存在数据传输，最大可能的数据交换量约为8.7Gb，所以采用万兆网比较合理。对于局域网内的各个节点，如果所有网口设置在一个网段内，软件在进行网络通信时都要经过同一个网关，在入口数据量增长的情况下，网速没有相应增长，最终影响数据处理的速率。在保证各个节点互联互通的情况下，根据数据处理的通道数量，规划并设计了多个网段，每个节点的各个网口都隶属于不同的网段，最大程度降低了网关阻塞。

4）由解压缩节点、磁盘阵列和光纤交换机组成的存储网络，对于解压缩数据，综合考虑存储速度、数据容量大及数据安全性的要求，采用RAID0模式配置磁盘阵列，并且根据解压缩集群服务器的数量，分别划分了相应的逻辑卷，每个逻辑卷绑定一台服务器。考虑到磁盘阵列的主要作用是存储解压缩数据，可以对磁盘的写优先权做相应设置。

该地面测试系统针对LASIS高光谱成像仪图谱合一、高压缩率和高传输速率的特点，满足所需的各项性能和功能指标。

Claims (7)

1.针对大孔径静态干涉成像光谱仪的地面测试系统，包括缓存节点、预处理节点、解码节点和显示节点，分别规划有多个网段，每个节点的各个网口都隶属于不同的网段；预处理节点、解码节点和显示节点通过光纤交换机构成万兆局域网；

缓存节点配置两路光纤网口形成两个数据输入通道，配置两路千兆网口作为输出；

预处理节点配置两路千兆网口作为输入，配置两路千兆网口作为输出；预处理节点接收来自缓存节点的输出数据，从中分离出可见光谱段数据和红外谱段数据，然后分别进行帧格式的对齐、帧错误的记录，最后分别进行打包存储至第一磁盘阵列，并将压缩流数据发送至解码节点；

解码节点采用多台机架式服务器组成松散耦合的集群解压缩系统，各台服务器的解压缩软件相同，采用多线程技术实现解压缩，解压缩数据存储至第二磁盘阵列，输出数据至显示节点；在每台服务器上安装MPICH作为集群计算基础代理，解压缩软件的调度和通信采用集群并行计算技术（MPI）实现；所述多线程技术是将解压缩软件划分为多个工作线程，并依据每个工作线程的任务重要程度设置为不同的优先级，每个工作线程之间通过操作系统内核信号量进行同步与通信，通过全局内存进行数据传输与共享，通过设置互斥量进行共享数据的安全性保护；

显示节点中，对应于双通道的四种类型的数据设置有相互独立的缓存区，根据初始化设置的步长取出数据进行隔帧显示。

2.根据权利要求1所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：解码节点中，所述多个工作线程包括主线程、日志线程、定时状态报告线程、接收线程、解压缩线程、写文件线程和数据发送线程；由接收线程进行数据接收，将来自预处理节点的压缩流数据存放入缓存，并通知解压缩线程开始多线程解压缩，每个解压缩线程运行于空闲的CPU物理核上，解压缩结束后通知接收线程、数据发送线程和写文件线程，并锁定下一个缓存，被解锁的缓存由接收线程继续使用。

3.根据权利要求2所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：显示节点还建立有回放指令发送线程，用以将回放指令封装后发送给预处理节点和/或解码节点；预处理节点和/或解码节点还设置有指令接收模块，用以接收并解析来自显示节点的回放指令，将所需的数据最终发送至显示节点。

4.根据权利要求3所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：所述第一磁盘阵列采用RAID10模式组合多块硬盘构成，存储速度不低于900Mbps，总容量不小于200GB；所述第二磁盘阵列采用RAID0模式组合多块硬盘构成，存储速度不低于7Gbps，总容量不少于800GB。

5.根据权利要求4所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：解码节点中，每台服务器的CPU有8个物理核，每个CPU物理核的解压缩性能不低于40Mbps。

6.根据权利要求5所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：所述第一磁盘阵列和第二磁盘阵列也通过所述光纤交换机接入万兆局域网。

7.根据权利要求6所述的针对大孔径静态干涉成像光谱仪的地面测试系统，其特征在于：所述缓存节点与预处理节点构成点对点直连网络。

Images