CN104393951B - 一种基于排队的遥感载荷通用数据处理系统 - Google Patents

Abstract

本发明公开了一种基于排队的遥感载荷通用数据处理系统，用于对极化复用模式下多物理信道下传的同一虚拟信道数据进行处理。本发明在去格式和解压缩处理之间加入了排队处理，将多物理信道下传的同一虚拟信道AOS传输帧的按顺序恢复成原始载荷数据，实现了极化复用模式下虚拟信道按照不同的物理通道随机传输AOS数据帧的完整恢复，增强了遥感数据的处理和判读能力，实现了处理全过程的通用化。为了实现排队处理的功能，利用AOS传输帧中虚拟信道标识符和帧计数的特征字节，将对应同一个虚拟信道标识符的传输帧识别出来，提取帧计数，按照帧计数的大小进行排队，算法简单，可靠。

Description

一种基于排队的遥感载荷通用数据处理系统

技术领域

本发明涉及遥感数据处理技术领域，具体涉及一种遥感载荷通用数据处理系统。

背景技术

遥感卫星传感器输出观测信息或图像数据，经过压缩后，按照CCSDS-AOS协议进行格式编排。多路数据分别通过单独的虚拟信道定义形成连续的AOS(高级在轨系统)传输帧，经过多路复接后，送入物理信道。物理信道数据经过信道编码、调制、功率放大后，向地面发送。地面获取星上载荷数据后，经过解调得到基带数据，基带数据经过同步、解码、去格式、解压缩后恢复为原始测量信息或图像数据。

为实现数传信道容量的最大化利用，极化复用技术在遥感卫星型号中已被广泛采用。同一个虚拟信道的AOS传输帧可随机进入不同的物理通道进行传输，利用极化复用技术下传至地面。由于同一个虚拟信道中的AOS传输帧进入不同的物理通道是随机的，导致地面不能进行正常的数据拼接，由此带来了需要对多个物理信道中同一虚拟信道数据进行排序，恢复成不同虚拟信道完整的数据帧的问题，从而正常进行图像的拼接和显示。

然而，在极化复用模式下，现有系统没有多个物理信道下同一虚拟信道数据排序解决方案。因此，研究通用化的、同一虚拟信道数据实时排序的遥感载荷数据处理系统是非常必要的。

发明内容

有鉴于此，本发明提供了一种基于排队算法的遥感载荷通用数据处理系统，能够实现极化复用模式下多物理信道下传的同一虚拟信道数据按顺序恢复的功能和数据全过程处理功能。

为了解决上述技术问题，本发明是这样实现的：

一种基于排队算法的遥感载荷通用数据处理系统，用于对极化复用模式下多物理信道下传的同一虚拟信道数据进行处理，该系统包括：原始数据存储单元、解码单元、去格式处理单元、排队处理单元、解压缩处理单元、业务数据处理单元和快视单元；

卫星下传的原始数据经原始数据存储单元的预处理、解码单元的解码和去格式单元的去格式处理后，得到高级在轨系统AOS传输帧，再由排队处理单元完成极化复用模式下多物理信道下传的同一虚拟信道AOS传输帧的按顺序恢复，生成排队数据文件，排队数据文件中经顺序恢复后的数据再经解压缩处理单元的解压缩和业务数据处理单元的业务处理后由快视单元进行显示，或不经解压缩直接由业务数据处理单元进行业务处理后由快视单元进行显示。

其中，所述排队处理单元的按顺序恢复具体为：

设，在接收侧同一虚拟信道的AOS传输帧随机通过两个物理通道F1和F3接收；将F1通道和F3通道中的一个称为A通道，则另一个为B通道；则按顺序恢复过程先进行A通道处理再进行B通道处理，再重复A通道处理，以此类推；且A通道的处理与B通道的处理相同；其中，A通道的处理具体为：

第一步：从A通道读取数据直到读取到一帧AOS传输帧，提取所读取AOS传输帧的虚拟信道标识符X；每个虚拟信道标识符X具有自己的缓存，且A通道和B通道缓冲分开使用，则此时判断虚拟信道标识符X对应的A通道缓存中是否有数据，如果有，则清空缓存数据后，再将当前读取的AOS传输帧存入，然后执行第二步；如果没有，则直接将当前读取的AOS传输帧存入虚拟信道标识符X对应的A通道缓存，然后执行第二步；

第二步：判断虚拟信道标识符X对应的B通道缓存是否有数据，如果有，分别提取虚拟信道标识符X对应的A通道缓存的帧计数M和虚拟信道标识符X对应的B通道缓存的帧计数P，转向第三步；如果没有数据，则转向B通道的处理；

第三步：判断M和P的大小，输出M和P中小值对应的一帧AOS传输帧至信道X对应的排队数据文件中；

第四步：若M>P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则转向B通道的处理；若M≤P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则返回第一步；

第五步：若M>P，判读P和N的连续性，若连续，则转向B通道的处理，若不连续，给出帧计数为P-1的帧丢失的丢帧报警提示，转向B通道的处理；若M≤P，判读M和N的连续性，若连续，则返回第一步，若不连续，给出帧计数为M-1的帧丢失的丢帧报警提示，返回第一步。

优选地，该系统包括独立的共享存储单元；解码单元、去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元均从共享存储单元中提取所需处理的数据，处理后的数据也放到共享存储单元中等待调用；原始数据存储单元也将接收到的所述原始数据存储到共享存储单元以接受解码单元的调用；所述共享存储单元中设置原始数据文件、解码数据文件、去格式数据文件、排队数据文件、解压缩数据文件和业务处理数据文件。

优选地，实现所述系统的硬件包括系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备；其中，原始数据存储单元在系统管理终端实现，解码单元在解码设备中实现，去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元在基带服务器集群实现；快视单元在快视设备实现；共享存储单元采用共享存储设备实现。

优选地，所述去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元在同一基带服务器集群中各自采用一个刀片服务器实现。

优选地，所述系统管理终端进一步包括系统管理单元，用于控制监视解码设备、基带处理服务器集群和快视设备；对共享存储设备中的文件进行管理；具备对处理过程中的数据进行入库并具备事后查询功能。

优选地，所述系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备之间数据存储和交换采用存储网，系统管理单元进行控制监控采用万兆网。

优选地，所述解码单元、格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元进一步对数据进行连续性判读和自身状态提取，将数据判读信息和状态信息连同形成的文件一同写入共享存储单元。

优选地，所述解码设备包括帧同步模块、低密度奇偶校验码(LDPC)译码模块、I/O判别模块、解扰模块、RS译码模块、CRC校验模块、解密模块和两个直通通道；帧同步模块的一条输出通道通过LDPC译码模块连接I/O判别模块的同时，另一条输出通道通过第一直通通道连接I/O判别模块；I/O判别模块连接解扰模块；解扰模块的一条输出通道通过第二直通通道连接CRC校验模块，另一条输出通道通过RS译码模块连接CRC校验模块；CRC校验模块连接解密模块；

解码设备根据星上编码方式的不同，切换不同的编码方式：如果星上的编码方式为RS编码，则解码设备通过切换使得数据依次通过帧同步通道、第一直通通道、I/Q判别模块、解扰模块、RS译码模块、CRC校验模块、解密模块进行处理；如果星上的编码方式为LDPC编码，则解码设备通过切换使得数据依次通过帧同步模块、LDPC译码模块、I/Q判别模块、解扰模块、第二直通通道、CRC校验模块和解密模块进行处理。

有益效果：

(1)本发明在去格式和解压缩处理之间加入了排队处理，将多物理信道下传的同一虚拟信道AOS传输帧的按顺序恢复成原始载荷数据，实现了极化复用模式下虚拟信道按照不同的物理通道随机传输AOS数据帧的完整恢复，增强了遥感数据的处理和判读能力，实现了处理全过程的通用化。

为了实现排队处理的功能，利用AOS传输帧中虚拟信道标识符和帧计数的特征字节，将对应同一个虚拟信道标识符的传输帧识别出来，提取帧计数，按照帧计数的大小进行排队，算法简单，可靠。

(2)现有系统都是采用网络来完成大数据量载荷数据的处理节点间交换，在应用过程中，存在数据同步异常和偶发性丢包的问题，地面多个物理通道数据处理的不同步会带来排队处理的不同步和数据丢包，无法实现同一虚拟信道数据的完整按序恢复。本发明采用基于共享存储的高速率数据交换机制，过程中数据全部存储在共享存储设备，数据处理后端适应本节点的处理能力主动读取共享存储设备的数据，而不是被动的从网络收取数据。该机制能充分保证数据传输的安全，也能适应多路数据的不同步接收处理。在处理同一虚拟信道数据在多物理信道中不同步传输问题时，采用共享存储是必要的。

(3)本发明将去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元集成在基带服务器集群中，分别采用一个刀片服务器实现。该方案的优点在于相对于专用硬件方案，能够快速的完成系统构建，并且系统重用性高，在满足处理性能要求的前提下，能够充分考虑应用需求，方便的提供数据存储、数据订阅、数据判读、数据分析的服务。

附图说明

图1为本发明的系统模型；

图2为本发明的系统工作流程；

图3为本发明的解码处理流程框图；

图4为本发明的星地数据流模型；

图5为本发明的排队算法示意图；(a)为F1通道，(b)为F3通道。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种遥感载荷通用数据处理系统，用于对极化复用模式下多物理信道下传的同一虚拟信道数据进行处理，处理的关键是对多物理信道下传的同一虚拟信道数据进行排序。卫星数据处理过程中，解码、去格式的处理对象为AOS传输帧，解压缩处理的对象是AOS传输帧中的有效数据，在解压缩环节后，已无虚拟信道信息可用，因此必须在解压缩之前完成排队处理。当AOS传输帧中存在误码导致虚拟信道计数错误时，排队算法无法根据其它信息获取正确的虚拟信道计数，为了保证排队算法有效性，需利用解码处理的纠错和校验功能，修正或剔除错误帧，因此排队算法应在解码处理之后进行。因此，本发明设计排队处理环节在去格式后，解压缩前进行，这样原始数据依次经过解码、去格式、排队、解压缩、业务数据处理的步骤，就能实现同一虚拟信道数据的按序恢复。

基于上述分析本发明所提供的遥感载荷通用数据处理系统包括原始数据存储单元、解码单元、去格式处理单元、排队处理单元、解压缩处理单元、业务数据处理单元和快视单元。卫星下传的原始数据经原始数据存储单元的预处理、解码单元的解码和去格式单元的去格式处理后，得到AOS传输帧，再由排队处理单元完成极化复用模式下多物理信道下传的同一虚拟信道AOS传输帧的按顺序恢复，生成排队数据文件，排队数据文件中经顺序恢复后的数据再经解压缩处理单元的解压缩和业务数据处理单元的业务处理后由快视单元进行显示，或不经解压缩直接由业务数据处理单元进行业务处理后由快视单元进行显示。其中，排队处理功能是利用AOS传输帧中虚拟信道标识符和帧计数的特征字节，将对应同一个虚拟信道标识符的传输帧识别出来，提取帧计数，按照帧计数的大小进行排队。

由于现有系统都是采用网络来完成大数据量载荷数据的处理节点间交换，在应用过程中，存在数据同步异常和偶发性丢包的问题，地面多个物理通道数据处理的不同步会带来排队处理的不同步和数据丢包，无法实现同一虚拟信道数据的完整按序恢复。本发明通用化的遥感载荷数据处理系统，采用基于共享存储的高速率数据交换机制，过程中数据全部存储在共享存储单元，数据处理后端适应本节点的处理能力主动读取共享存储单元的数据，而不是被动的从网络收取数据，也就是说，解码单元、格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元均从共享存储单元中提取所需处理的数据，处理后的数据也放到共享存储单元中等待调用；同时，原始数据存储单元也将接收到的所述原始数据存储到共享存储单元以接受解码单元的调用。那么共享存储单元中就应该具有原始数据文件、解码数据文件、去格式数据文件、排队数据文件、解压缩数据文件和业务处理数据文件。该共享存储机制能充分保证数据传输的安全，也能适应多路数据的不同步接收处理。在处理同一虚拟信道数据在多物理信道中不同步传输问题时，采用共享存储系统是必要的。

此外，上述组成单元之间并非都采用传统的网络形式来完成大数据量载荷数据的处理节点间交换，在应用过程中，会存在数据同步异常和偶发性丢包的问题。随着遥感卫星技术发展，完成基带数据处理的地面系统已从过去的专用硬件设备发展为基于刀片服务器的多节点软硬件结合的高速并行处理系统。因此，本发明将去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元集成在基带服务器集群中，分别采用一个刀片服务器实现。该方案的优点在于相对于专用硬件方案，能够快速的完成系统构建，并且系统重用性高，在满足处理性能要求的前提下，能够充分考虑应用需求，方便的提供数据存储、数据订阅、数据判读、数据分析的服务。

基于上述设计，如图1所示，本发明遥感载荷数据处理系统的硬件实现可以包括系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备。其中，系统管理终端中设置有原始数据存储单元和系统管理单元；解码设备中设有解码模块；基带处理服务器集群中设有去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元；快视设备包括快视单元。系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备之间数据存储和交换采用存储网，系统管理单元与被管理者之间进行控制监控采用万兆网。图1中各处理节点的功能如下：

(1)原始数据存储单元：本系统具备存储来自卫星的经通道设备解调后的原始数据的能力，其部署于系统管理终端。原始数据存储单元完成对原始数据的预处理，包括订阅、接收、格式编排，从而形成原始数据文件；该单元进一步进行自身状态提取并进行原始数据判读，将形成的原始数据文件连同状态信息和数据判读信息写入共享存储设备。优选地，该单元还同时具备静态数据提取、本地控制和系统管理终端远程控制功能。通过存储的原始数据文件回放，可以对该数据处理系统进行全面的自检，保证系统工作的有效性。

(2)系统管理单元：其部署于系统管理终端，用于控制监视与系统管理终端在同一局域网内所有的系统内设备，包括解码设备、基带处理服务器集群和快视设备；对共享存储设备中的文件进行管理；具备对处理过程中的数据进行入库并具备事后查询功能。

(3)解码单元：其部署于解码设备上，用于从共享存储设备中获取原始数据文件中的数据，经过帧同步、解扰、译码、CRC校验等处理后生成AOS帧格式，再送入共享存储设备中供后续设备进行处理。

由于信道条件的差异，卫星下传数据经过信道传输之后会有误码，为了确保AOS传输帧无误码，便于排队处理节点提取正确的虚拟信道标识符和帧计数进行排队，必须首先进行解码处理。解码设备作为该系统中对原始数据进行的第一级处理，具有误码率控制的功能，完成对原始数据的帧同步、I/Q判别、解扰、译码、CRC校验、自适应解密等处理。解码单元完成的译码和CRC校验能对原始数据中的误码进行识别和剔除，恢复成正常的数据，确保了后续处理中AOS帧数据的虚拟信道标识符和帧计数的有效性和完整性。

如图3所示，解码设备包括帧同步模块、LDPC(低密度奇偶校验码)译码模块、I/O判别模块、解扰模块、RS译码模块、CRC校验模块和解密模块；帧同步模块的一条输出通道通过LDPC译码模块连接I/O判别模块的同时，另一条输出通道通过第一直通通道连接I/O判别模块；I/O判别模块连接解扰模块；解扰模块一条输出通道通过第二直通通道连接CRC校验模块，另一条输出通道通过RS译码模块连接CRC校验模块；CRC校验模块连接解密模块。

解码设备根据星上编码的方式不同，切换不同的编码方式。如果星上的编码方式为RS编码，解码设备通过切换使得数据依次通过帧同步通道、第一直通通道、I/Q判别模块、解扰模块、RS译码模块、CRC校验模块、解密模块的处理；如果星上的编码方式为LDPC编码，解码设备通过切换使得数据依次通过帧同步模块、LDPC译码模块、I/Q判别模块、解扰模块、第二直通通道、CRC校验模块和解密模块。RS译码或LDPC译码能对一帧数据内除同步头外的所有数据进行误码纠错，通过设置纠错比特个数，能有效的将误码率控制在很低的量级甚至归零。

(4)去格式处理单元：其部署于基带处理服务器集群中，用于完成下行遥感数据的AOS去格式功能处理，形成去格式数据文件；该单元进一步进行自身状态提取并根据不同的虚拟信道标识符将数据分路、判读，将形成的去格式数据文件连同状态信息和数据判读信息写入共享存储设备。其中，状态信息反映了单元在当前任务处理过程中的工作状态，可以包括CPU利用率、处理数据量、与共享存储设备之间的数据交互速率等。为适应各型号不同的AOS格式，通过配置文件的形式解决差异化，实现去格式处理的通用化。

(5)排队处理单元：其部署于基带处理服务器集群中。该排队处理单元或其所在排队处理设备具有一定的缓存，且不同物理通道占用不同的缓存，统一物理通道接收的不同虚拟通道也对应不同缓存，以辅助排队。将去格式数据文件中的AOS传输帧进行排队处理后恢复顺序，然后形成排队数据文件写至共享存储设备。该单元进一步进行自身状态提取并对同一虚拟信道数据帧计数的连续性进行判读，将形成的排队数据文件连同状态信息和数据判读信息写入共享存储设备。

图4为本发明的星地数据流模型。星上数传有两个物理信道，载荷一副图像按照虚拟信道标识符由两组虚拟信道数据组成。F1通道和F3通道中的数据组成第一组虚拟信道数据，F2通道和F4通道中的数据组成第二组虚拟信道数据。F1通道和F3通道对应两个物理通道，即通道1主份和通道1备份，F2和F4类似。由于虚拟信道数据分配给两个物理信道传输的随机性，F1和F3的帧计数具有不确定性。比如，来自CCD1的传输帧随机分配到F1通道传输的帧计数为1、2、4、8…，同样来自CCD1的传输帧随机分配到F3通道传输的帧计数为3、5、6、7…。F1通过通道1主份进行处理；F2通过通道2主份进行处理；F3通过通道1备份进行处理；F4通过通道2备份进行处理。通道1和通道2的主份合路为发射天线的左旋信号；通道1和通道2的备份合路为发射天线的右旋信号，利用极化复用技术由一副天线传输至地面，经过数据接收分离左旋信号和右旋信号，遥感载荷数据处理系统经过解码和去格式后恢复为F1、F2、F3和F4，在进行解压缩处理之前，必须经过排队将F1和F3、F2和F4恢复成一组完整的虚拟信道数据。

结合附图5以F1和F3为例对本发明的排队算法实现过程进行详细的说明。处理时，先进行F1通道处理再进行F3通道处理，再重复F1通道处理，以此类推。

第一步：先进行F1通道的处理：从F1读取数据直到读取到一帧AOS传输帧，提取所读取AOS传输帧的虚拟信道标识符X。每个虚拟信道标识符X具有自己的缓存，且F1通道和F3通道缓冲分开使用，则此时判断虚拟信道标识符X对应的F1通道缓存中是否有数据，如果有，则清空缓存数据后，再将当前读取的AOS传输帧存入虚拟信道标识符X对应的F1通道缓存，然后执行第二步；如果没有，则直接将当前读取的AOS传输帧存入虚拟信道标识符X对应的F1通道缓存，然后执行第二步。

本步骤中，如果F1中没有数据则任务结束，退出本流程。如果读取到的数据中的虚拟信道标识符没有定义，则将进行虚拟信道标识符错误的报警，并将错误数据单独存储，然后转向F3的流程。

第二步：判断虚拟信道标识符X对应的F3通道缓存是否有数据，如果有，分别提取虚拟信道标识符X对应的F1通道缓存的帧计数M和虚拟信道标识符X对应的F3通道缓存的帧计数P，转向第三步；如果没有数据，则进入第六步。

第三步：判断M和P的大小，输出M和P中小值对应的一帧AOS传输帧至信道X对应的排队数据文件中；

第四步：若M>P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则进入第六步；若M≤P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则返回第一步；

第五步：若M>P，判读P和N的连续性，若连续，则进入第六步，若不连续，给出帧计数为P-1的帧丢失的丢帧报警提示，进入第六步；若M≤P，判读M和N的连续性，若连续，则返回第一步，若不连续，给出帧计数为M-1的帧丢失的丢帧报警提示，返回第一步。

第六步：进行F3通道的处理：从F3读取数据直到读取到一帧AOS传输帧数据，提取所读取AOS传输帧数据的虚拟信道标示符X，判断虚拟信道标识符X对应的F3通道缓存中是否有数据，如果有，则清空缓存数据后，再将当前读取的AOS传输帧存入虚拟信道标识符X对应的F3通道缓存，然后执行第七步。如果没有，则直接将当前读取的AOS传输帧存入虚拟信道标识符X对应的F3通道缓存，然后执行第七步。

本步骤中，如果F3中没有数据则任务结束，退出本流程。如果读取到的数据中的虚拟信道标识符没有定义，则将进行虚拟信道标识符错误的报警，并将错误数据单独存储，然后转向F1的流程。

第七步：判断虚拟信道标识符X对应的F1通道缓存是否有数据，如果有，分别提取虚拟信道标识符X对应的F3通道缓存的帧计数M和虚拟信道标识符X对应的F1通道缓存的帧计数P，转向第三步；如果没有数据，则进入第一步。

第八步：判断M和P的大小，输出M和P中小值对应的一帧AOS传输帧至信道X对应的排队数据文件中；

第九步：若M>P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第十步；若没有前一帧数据则进入第一步；若M≤P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第十步；若没有前一帧数据则返回第六步；

第十步：若M>P，判读P和N的连续性，若连续，则进入第一步，若不连续，给出帧计数为P-1的帧丢失的丢帧报警提示，进入第一步；若M≤P，判读M和N的连续性，若连续，则返回第六步，若不连续，给出帧计数为M-1的帧丢失的丢帧报警提示，返回第六步。

上述步骤不断循环，直到从通道中读取不到一帧数据则任务结束，退出。

下面举一个例子对上述的排序输出过程进行说明。假设F1和F3通道的X信道缓存起始为空，F1通道X信道所传输数据的帧计数为1、2、4、8…，F3通道X信道所传输数据的帧计数为3、6、7、9…。F1先读取一帧数据，帧计数为1，放入信道X缓存中；此时F3的信道X没有缓存数据，则进入F3流程，读取一帧数据，帧计数为3，将该帧数据缓存到F3的X缓存，此时由于F1的X缓存中有数据，则比较两个缓存中的帧计数1与3，将帧计数为1的一帧数据输出至信道X对应的排队数据文件中，由于是排队数据文件中的第一帧数据，且帧计数1来自F1，则进入F1的处理流程。

在当前F1的处理流程中，读取帧计数为2的一帧数据，将其替换存储到F1的信道X缓存中，而且由于F3的信道X缓存中有数据，则比较两个缓存的帧计数，将帧计数为2的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，由于连续，且帧计数2属于F1，则仍进入F1流程。

在当前F1的处理流程中，读取帧计数为4的一帧数据，将其替换存储到F1的信道X缓存中，而且由于F3的信道X缓存中有数据(帧计数为3)，则比较两个缓存的帧计数，将帧计数为3的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，由于连续，且帧计数3属于F3，则仍进入F3流程。

在当前F3的处理流程中，读取帧计数为6的一帧数据，将其替换存储到F3的信道X缓存中，而且由于F1的信道X缓存中有数据(帧计数为4)，则比较两个缓存的帧计数，将帧计数为4的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，由于连续，且帧计数4属于F1，则仍进入F1流程。

在当前F1的处理流程中，读取帧计数为8的一帧数据，将其替换存储到F1的信道X缓存中，而且由于F3的信道X缓存中有数据(帧计数为6)，则比较两个缓存的帧计数，将帧计数为6的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，发现不连续，给出报警提示信息“帧计数为5(P-1，P＝6)的数据丢失”，由于且帧计数6属于F3，则仍进入F3流程。

在当前F3的处理流程中，读取帧计数为7的一帧数据，将其替换存储到F3的信道X缓存中，而且由于F1的信道X缓存中有数据(帧计数为8)，则比较两个缓存的帧计数，将帧计数为7的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，由于连续，且帧计数7属于F3，则仍进入F3流程。

在当前F3的处理流程中，读取帧计数为9的一帧数据，将其替换存储到F3的信道X缓存中，而且由于F1的信道X缓存中有数据(帧计数为8)，则比较两个缓存的帧计数，将帧计数为8的一帧数据输出至信道X对应的排队数据文件中，然后比较排队数据文件中最后两帧数据的帧计数的连续性，由于连续，且帧计数8属于F1，则仍进入F1流程。

至此，输出的排队数据文件中帧计数将恢复成1、2、3、4、6、7、8…有序的形式，同时将丢帧信息报出。

(6)解压缩处理单元：其部署于基带处理服务器集群中，用于对排队处理单元输出的多路虚拟通道数据并行完成分路解压缩、分发等处理，可以适应多种解压缩算法和压缩比，根据型号需求进行配置，将解压缩后的数据形成解压缩数据文件。该单元进一步进行自身状态提取并对不同虚拟信道分发的AOS传输帧的连续性进行判读，将形成的解压缩数据文件连同状态信息和数据判读信息写入共享存储设备。

(7)业务数据处理单元：其部署在基带处理服务器集群中，用于对解压缩模块或去格式模块输出的数据进行图像抽点输出、辅助数据提取等业务处理，将处理后的数据形成业务处理数据文件；该单元进一步进行自身状态提取并对排队数据文件或解压缩数据文件中的数据连续性进行判读，将形成的业务处理数据文件连同状态信息和数据判读信息写入共享存储设备。

(8)快视单元：其部署在快视设备中，用于从存储网读取共享存储设备中的业务处理数据的文件内容，主要包括图像数据文件、辅助数据文件、卫星服务系统数据文件等，完成对读取的卫星服务系统数据、辅助数据和图像数据进行工程值计算和高速格式化显示；完成对图像数据进行统计分析判读；对卫星服务系统数据、辅助数据进行实时自动判读。快视单元将自身状态信息和判读信息以文件形式写入共享存储设备。

(9)共享存储设备中存储文件体系设计：

该系统工作过程中的处理数据以文件的形式存入共享存储设备中。系统管理单元通过存储网实现对共享存储中文件的管理。在系统管理单元输入型号名称和指定的工作路径后，根据本次任务硬件处理节点配置情况在共享存储设备中生成原始数据文件、解码数据文件、去格式数据文件、排队数据文件、解压缩数据文件、图像数据文件、辅助数据文件、服务数据文件等文件夹。排队处理前，解码和去格式需针对物理通道进行处理；排队处理之后，生成的数据已与物理通道无对应关系，系统的文件体系设计将因排队处理前后进行区分。

原始数据文件由部署在系统管理终端上的原始数据存储单元处理产生，多个物理通道产生多个原始数据文件；解码数据文件由部署在解码设备中的解码单元处理产生，多个物理通道产生多个解码数据文件；去格式数据文件由部署在基带处理服务器集群中的去格式处理单元处理产生，每个物理通道按照虚拟信道的个数都将产生多个去格式数据文件；排队数据文件由部署在基带处理服务器集群中的排队处理单元处理产生，由于多个物理通道下传的同一虚拟信道数据的排序恢复，按照虚拟信道的个数产生多个排队数据文件；解压缩数据文件由部署在基带处理服务器集群中的解压缩处理单元处理产生，按照虚拟信道的个数产生多个解压缩数据文件；图像数据文件、辅助数据文件、服务数据文件共同构成了业务处理数据文件，由部署在基带处理服务器集群中的业务处理单元处理产生，按照虚拟信道的个数产生多个图像数据文件、辅助数据文件、服务数据文件。

存储文件的设计原则如下表所示：

本发明的通用化遥感载荷数据处理系统，其系统工作流程如下(如附图2所示)：

第一步：系统管理单元启动该系统内的所有处理单元，包括原始数据存储单元、解码单元、去格式处理单元、排队处理单元、解压缩处理单元、业务数据处理单元、快视单元，建立一次数据接收工作任务，获取各单元的工作状态信息；

第二步：卫星数据下传，原始数据存储单元开始接收数据，将数据以文件的形式存到共享存储设备中；

第三步：解码软件从共享存储设备中获取原始数据完成解码处理，处理完之后将解码数据以文件的形式存到共享存储设备中；

第四步：去格式处理单元从共享存储设备中获取解码数据完成去格式处理，处理完之后将去格式数据以文件的形式存到共享存储设备中；

第五步：排队处理单元从共享存储设备中获取去格式数据完成排队处理，将多物理信道下传的同一虚拟信道数据按顺序进行恢复，恢复之后的排队数据以文件的形式存到共享存储设备中；

第六步：若载荷数据在星上需要进行压缩，则进行这一步，若没有进行压缩，进入第七步。本步骤中，解压缩处理单元从共享存储设备中获取排队数据完成解压缩处理，处理完之后将解压缩数据以文件的形式存到共享存储设备中；

第七步：业务数据处理单元从共享存储设备中获取解压缩数据或者排队数据，完成图像抽点输出、辅助数据提取等处理，处理完之后以文件的形式存到共享存储设备中；

第八步：快视系统从共享存储设备中获取业务处理数据，完成对读取的卫星服务系统数据、辅助数据和图像数据进行工程值计算和高速格式化显示；

第九步：一次工作任务结束，系统管理单元退出该系统内的所有处理单元的连接。

至此，本流程结束。

本发明基于排队算法和采用共享存储的高速数据交换技术，设计一种通用化的遥感载荷数据处理系统，恢复成原始测量信息或图像数据，实现了极化复用模式下虚拟信道按照不同的物理通道随机传输AOS数据帧的完整恢复，增强了遥感数据的处理和判读能力，实现了处理全过程的通用化。目前，已有五颗光学遥感卫星采用本发明的通用化遥感载荷数据处理系统进行载荷数据的全过程处理，应用证明该系统可自适应各型号的数传传输速率，实时监测该系统内各设备的工作状态和判读信息，可通用于各高分辨率遥感卫星，测试判读效率和判读质量高。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于排队的遥感载荷通用数据处理系统，用于对极化复用模式下多物理信道下传的同一虚拟信道数据进行处理，其特征在于，包括：原始数据存储单元、解码单元、去格式处理单元、排队处理单元、解压缩处理单元、业务数据处理单元和快视单元；

卫星下传的原始数据经原始数据存储单元的预处理、解码单元的解码和去格式单元的去格式处理后，得到高级在轨系统AOS传输帧，再由排队处理单元完成极化复用模式下多物理信道下传的同一虚拟信道AOS传输帧的按顺序恢复，生成排队数据文件，排队数据文件中经顺序恢复后的数据再经解压缩处理单元的解压缩和业务数据处理单元的业务处理后由快视单元进行显示，或不经解压缩直接由业务数据处理单元进行业务处理后由快视单元进行显示；

所述排队处理单元的按顺序恢复具体为：

设，在接收侧同一虚拟信道的AOS传输帧随机通过两个物理通道F1和F3接收；将F1通道和F3通道中的一个称为A通道，则另一个为B通道；则按顺序恢复过程先进行A通道处理再进行B通道处理，再重复A通道处理，以此类推；且A通道的处理与B通道的处理相同；其中，A通道的处理具体为：

第一步：从A通道读取数据直到读取到一帧AOS传输帧，提取所读取AOS传输帧的虚拟信道标识符X；每个虚拟信道标识符X具有自己的缓存，且A通道和B通道缓冲分开使用，则此时判断虚拟信道标识符X对应的A通道缓存中是否有数据，如果有，则清空缓存数据后，再将当前读取的AOS传输帧存入，然后执行第二步；如果没有，则直接将当前读取的AOS传输帧存入虚拟信道标识符X对应的A通道缓存，然后执行第二步；

第二步：判断虚拟信道标识符X对应的B通道缓存是否有数据，如果有，分别提取虚拟信道标识符X对应的A通道缓存的帧计数M和虚拟信道标识符X对应的B通道缓存的帧计数P，转向第三步；如果没有数据，则转向B通道的处理；

第三步：判断M和P的大小，输出M和P中小值对应的一帧AOS传输帧至信道X对应的排队数据文件中；

第四步：若M>P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则转向B通道的处理；若M≤P，从信道X对应的排队数据文件读取前一帧数据，若读取到，则提取前一帧数据的帧计数N，进入第五步；若没有前一帧数据则返回第一步；

第五步：若M>P，判读P和N的连续性，若连续，则转向B通道的处理，若不连续，给出帧计数为P-1的帧丢失的丢帧报警提示，转向B通道的处理；若M≤P，判读M和N的连续性，若连续，则返回第一步，若不连续，给出帧计数为M-1的帧丢失的丢帧报警提示，返回第一步。

2.如权利要求1所述的系统，其特征在于，该系统包括独立的共享存储单元；解码单元、去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元均从共享存储单元中提取所需处理的数据，处理后的数据也放到共享存储单元中等待调用；原始数据存储单元也将接收到的所述原始数据存储到共享存储单元以接受解码单元的调用；所述共享存储单元中设置原始数据文件、解码数据文件、去格式数据文件、排队数据文件、解压缩数据文件和业务处理数据文件。

3.如权利要求2所述的系统，其特征在于，实现所述系统的硬件包括系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备；

原始数据存储单元在系统管理终端实现，解码单元在解码设备中实现，去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元在基带服务器集群实现；快视单元在快视设备实现；共享存储单元采用共享存储设备实现。

4.如权利要求3所述的系统，其特征在于，所述去格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元在同一基带服务器集群中各自采用一个刀片服务器实现。

5.如权利要求3所述的系统，其特征在于，所述系统管理终端进一步包括系统管理单元，用于控制监视解码设备、基带处理服务器集群和快视设备；对共享存储设备中的文件进行管理；具备对处理过程中的数据进行入库并具备事后查询功能。

6.如权利要求5所述的系统，其特征在于，所述系统管理终端、解码设备、基带处理服务器集群、快视设备和共享存储设备之间数据存储和交换采用存储网，系统管理单元进行控制监控采用万兆网。

7.如权利要求2所述的系统，其特征在于，所述解码单元、格式处理单元、排队处理单元、解压缩处理单元和业务数据处理单元进一步对数据进行连续性判读和自身状态提取，将数据判读信息和状态信息连同形成的文件一同写入共享存储单元。

8.如权利要求3所述的系统，其特征在于，所述解码设备包括帧同步模块、低密度奇偶校验码LDPC译码模块、I/O判别模块、解扰模块、RS译码模块、CRC校验模块、解密模块和两个直通通道；帧同步模块的一条输出通道通过LDPC译码模块连接I/O判别模块的同时，另一条输出通道通过第一直通通道连接I/O判别模块；I/O判别模块连接解扰模块；解扰模块的一条输出通道通过第二直通通道连接CRC校验模块，另一条输出通道通过RS译码模块连接CRC校验模块；CRC校验模块连接解密模块；

解码设备根据星上编码方式的不同，切换不同的编码方式：如果星上的编码方式为RS编码，则解码设备通过切换使得数据依次通过帧同步通道、第一直通通道、I/Q判别模块、解扰模块、RS译码模块、CRC校验模块、解密模块进行处理；如果星上的编码方式为LDPC编码，则解码设备通过切换使得数据依次通过帧同步模块、LDPC译码模块、I/Q判别模块、解扰模块、第二直通通道、CRC校验模块和解密模块进行处理。