CN110048761A - 一种面向批产卫星数传地面自动化快速数据处理分析系统 - Google Patents

Abstract

本发明公开了一种数据实时处理分析系统，包括：服务器、一类基带处理器、解译机、配置监控以太网、数据接收处理以太网、数据分发以太网、数据终端、二类基带处理器，其中所述服务器分别与设备配置监控以太网、数据接收处理以太网和数据分发以太网形成信息交互，所述基带处理器分别与设备配置监控以太网和数据接收处理以太网形成信息交互，所述解译机分别与配置监控以太网和数据接收处理以太网形成信息交互，所述终端与数据分发以太网形成信息交互，所述二类基带处理器分别与配置监控以太网和数据接收处理以太网形成信息交互。本发明公开的系统具有系统易扩展、多星数据接收处理自动化、多星大数据下的快速分析与异常数据定位的优点。

Description

一种面向批产卫星数传地面自动化快速数据处理分析系统

技术领域

本发明涉及卫星高速数传产品测试领域。具体而言，本发明涉及一种面向批产卫星数传地面自动化接收数据并实时进行数据处理分析的系统。

背景技术

卫星技术在集成化与小型化方面的发展、以及卫星成本的不断降低，低轨小卫星多星组网成为解决各领域多区域甚至全球覆盖需求的一种重要技术方案，促使卫星研发单位进行卫星批产化生产。

目前，现有的卫星数传数据处理系统如图1所示，需根据单颗星测试进行搭建，软件人员需要重新开发单独的数据分析软件。现有系统测试流程需要测试人员先在各个设备的界面上配置好参数，由基带处理器完成数据接收后以文件形式存储，随后将数据文件提交给数据解译设备进行解译，再将解译后的数据文件传递给数据处理服务器进行存储。整个测试流程，每个环节处理等待时间长，以至于实时性不足，无法在测试过程中实时定位异常，无法捕获异常现场的各种状态；此外，现有单星数传数据接收处理系统为点对点连接，不利于进行系统扩展，难以满足多星并行测试、流水线测试以及大数据的接收、存储、分析的需求。

首先，现有数传测试系统虽然也利用了网络，但各个设备间均是进行的点对点的网络连接，各设备均只能进行单点交互，点对点网络架构也不方便进行系统的灵活扩展。

其次，大部分数传数据处理系统数据接收存储与数据处理分析无法并行，每个环节均需要完成文件接收存储后，才能启动处理分析。。这种处理方法面对海量数据时，需要花大量时间用于文件传输，无法实时定位异常，在实时性及时效性上存在不足。

再次，现有数传数据处理系统不具统一的设备配置及监控的远程软件接口，一方面会导致测试人员需要占用部分测试时间在各设备间来回操作观测配置各设备及获取运行状态信息，降低整体测试效率；另一方面不便于系统扩展后的设备管理与控制。

最后，从整体上看，现有数传数据处理与分析系统，在整个数据接收、处理流程中的自动化处理不足，各个处理环节均需要人为介入启动，不具备根据数传测试任务进行自闭环接收、存储、分析的能力。此外批产化多星并行或流水线测试中，也不具备为每颗星独立搭建这种系统的条件。

发明内容

针对现有技术中存在的上述问题，本发明根据批产化卫星数传产品测试中面临的多星并行测试、多设备管理、大数据并行存储、实时处理与分析的需求，提供一种面向批产化适用多星并行测试且易组件、易扩展的地面自动化数据处理分析系统。

根据本发明的一个方面，提供一种数据处理分析系统，包括：

服务器以及配套的数据处理软件及设备监控软件、一个或多个第一基带处理器、一个或多个解译机、配置监控以太网、数据接收处理以太网、数据分发以太网、一个或多个终端、一个或多个第二基带处理器，

其中所述第一基带处理器、服务器以及配套的数据处理软件与数据接收处理以太网和数据分发以太网形成高速数据流实时处理与分发交互。

所述第二基带处理器、服务器以及配套的数据接收处理软件数据接收处理以太网形成低速数据流实时处理与分发交互。

所述解译机接入数据接收处理以太网，进行中间数据的解译处理。

所述数据终端可动态接入数据分发以太网形成信息交互。

所述服务器以及设备监控软件通过设备配置监控以太网，对入网设备进行权限管理、参数配置、及状态监控信息交互。

在本发明的一个实施例中，所述系统可根据实际测试需求动态接入各设备。

在本发明的一个实施例中，所述高速数据流处理及低速数据流处理配置成进行自动化实时数据接收、存储、异常诊断及异常数据提取、业务数据可配分发，异常数据同步后台异常分析。

根据本发明的另一个方面，提供一种使用数据处理分析系统进行数据处理分析的方法，包括：

通过服务器及数据接收处理软件中的任务模块，驱动处理流程：在任务开始时刻建立网络连接，启动数据接收处理流程。数据接收处理软件接收基带处理设备发出的网络包数据进行数据帧提取并存储提取的数据帧；

进行数据帧分类；

进行分类数据帧连续性诊断；

如果数据帧存在异常，提取并存储异常数据帧，生成异常告警，分析异常类型及定位异常位置，并在日志窗口实时输出异常帧错误信息；

如果数据帧不存在异常，则确定是否进行数据分发；

如果确定进行数据分发，则根据接入数据分发网的数据终端权限，进行分类数据分发。

在任务结束时刻，自主断开数据接收处理网络，并生成本次任务接收处理信息日志。

在本发明的另一个实施例中，根据虚拟信道标识进行数据分类。

在本发明的另一个实施例中，对分类后的数据帧实时提取帧序号及数据域数据，并进行帧连续性判读、填充帧的误码率分析，并将任何诊断出的异常信息实时推送给日志单元，日志单元将异常信息实时打印在日志显示窗口中，对测试用户进行告警。

本发明公开的系统具有系统易扩展、多星数据接收处理自动化、多星大数据下的快速分析与异常数据定位的优点，并且支持配置特定条件的数据文件自动搜索、处理与分析。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出现有技术的数据处理系统的示意框图。

图2示出本发明的一个实施例的面向批产卫星数传地面自动化快速数据处理分析系统的架构图。

图3示出根据本发明的一个实施例的实时数据处理过程示意图。

图4示出根据本发明的一个实施例的使用本发明公开的系统的数据接收处理流程。

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

在批产化卫星生产过程中，现有系统存在的四大方面的问题无法满足数传测试的需求。本发明提出一种易于扩展的系统架构，整合数据处理流程以便实现实时数据分析处理，并且在该系统上配置一款适用于多星并行测试的数传数据自动化处理分析软件及多窗口设备远程配置监控软件，实现了适用批产化多星并行测试，具备自动化数据实时处理分析、多设备统一配置及监控的数据处理分析系统。

本发明的面向批产卫星数传地面自动化快速数据处理分析系统的主要包括高速基带处理器、数据解密机、S扩频基带处理器、网络交换机、数据终端机、数据处理分析服务器及自动化数据处理分析软件。本发明通过在系统架构、系统数据传递形式、数据处理分析软件上进行创新升级，来实现系统易扩展、构建容易、改造成本低、支持多星并行测试、具备自动化处理分析的特点及优势。

图2示出本发明的一个实施例的面向批产卫星数传地面自动化快速数据处理分析系统200的架构图。

如图2所示，面向批产卫星数传地面自动化快速数据处理分析系统200包括服务器210、一个或多个高速基带处理器220、一个或多个解译机230、配置监控以太网240、数据接收处理以太网250、数据分发以太网260、一个或多个终端270、一个或多个基带处理器280。

各设备均采用网络接入方式实现信息交互。配置监控以太网240、数据接收处理以太网250和数据分发以太网260的中央节点均采用标准交换机实现。

服务器210具有三个网口，分别与配置监控以太网240、数据接收处理以太网250和数据分发以太网260形成信息交互。

高速基带处理器220也可称为双通道高速基带解调器，可以具有三个网口，分别与配置监控以太网240和数据接收处理以太网250形成信息交互。

解译机可具有三个网口，分别与配置监控以太网240和数据接收处理以太网250形成信息交互。

配置监控以太网240的中央节点可采用百兆网络交换机，可以具有24个网口。

数据接收处理以太网250和数据分发以太网260的中央节点可采用千兆网络交换机，可以具有24个网口。

终端270可以是普通的计算机或其他专用设备，可以具有一个网口，与数据分发以太网260形成信息交互。

基带处理器280可以是S波段基带解调器，可具有二个网口，分别与配置监控以太网240和数据接收处理以太网250形成信息交互。

通过配置监控以太网进行设备的远程配置及监控。本系统结合测试设备的特点对地测设备进行分类，对带有操作系统的设备，通过多窗口远程软件实现设备的远程配置及控制；对其他设备则基于以太网控制协议对设备软件进行接口升级，实现所有设备的远程配置及监控。

面向批产卫星数传地面自动化快速数据处理分析系统200已成功应用于某批产化卫星的多星并行测试及多星流水线测试中。该卫星包含X波段及S波段双通道速传，单星速率达到一百多兆比特/秒量级。

本发明公开的系统采用三个局部以太网实现系统各设备组网：一个为千兆数据接收处理以太网，一个为千兆数据分发以太网，一个为百兆配置监控以太网。三个局域网均采用星型拓扑结构，通过星型网络拓扑结构的特点从而实现一个节点易扩展、易于数据传输、网络监控和管理的系统。三个局部以太网相互隔离，远程配置监控接入卫星测试主网以便进行整星的测试信息交互。数据接收处理以太网络及数据分发以太网各自保持独立，仅通过数据服务器节点进行中间数据交互，从而避免了采用单一以太网中央节点的网络传输压力，确保数据传递的安全性、可靠性及稳定性。

系统设备配置监控：本系统通过配置监控以太网实现了所有设备的联网，在此基础上结合远程控制软件实现所有入网设备的远程配置和监控，系统对所有设备的远程配置和监控能力允许测试人员快捷的对所有设备进行操作。

系统数据传输处理：本系统以卫星数传任务为单位驱动各星数据处理传输流程。一个任务开始时刻建立一条网络连接的代表一颗星的数据传输处理流程的启动。通过多星多任务建立多条网络连接链路，实现多星数据的实时传输处理、解析以及解帧后的业务数据的分发。不同频段的数据路径不同：x频段数据是卫星发到高速基带处理器，可以是无线发过来，也可以是有线发过来；s频段数据是卫星发到广播分发基带处理器，同样有有线无线两种方式。数据传递以TCP-IP数据包格式进行，通过握手协议包动态约定每条网络链路的数据传输包的结构，包括数据帧数、数据帧大小、帧结构，从而满足不同卫星数据传输的要求。在整个数据处理流程中涉及四种TCP-IP数据包：握手协议包、基带高速加密数据包、解译数据包、解译解帧后的业务数据包。

系统软件：本系统软件指运行在服务器上的应用软件，包括数据格式配置软件、数据实时处理分析软件、数据分发软件、数据延时处理软件、任务规划与闭环分析软件、网络设备控制台软件、日志系统。各软件以软件单元形式集成到同一个应用软件中，通过各个软件单元的功能集合实现数据处理、分析、分发的自动化。

基于VC平台进行系统软件开发，系统软件包括用户界面单元、数据格式配置单元、数据实时处理分析单元、数据分发单元、数据延时处理单元、任务规划与闭环分析单元、日志系统等。

用户界面单元：采用多窗口结合tab页形式提供数据格式配置界面，数据实时处理显示界面，卫星数传任务规划界面，数传任务执行及数据接收分析结果界面，设备网络IP分配及连接界面，数据回放界面，日志界面等。

数据格式配置单元：为测试人员提供各种配置接口，主要包括卫星数据格式配置接口，以及文件存储配置等其他相关配置接口。以适应不同卫星的各类数据格式下的数据处理与分析，以及不同测试用户对数据存储形式的特殊要求；

数据实时处理分析单元：采用多线程并发处理设计实现多星数传数据实时接收、原包存储及分类存储、虚拟信道帧分类、帧连续判读、填充帧比特级误码率统计，并对分析的异常结果以消息形式实时显示在日志窗口，最后将拆解CCSDS帧格式后的数据分类组载荷及平台数据包供分发单元传输给各终端。

数据分发单元：通过配置网络连接与各个数据终端建立网络链路，将拆解分类后的载荷数据包、平台数据包根据需求设置，实时分发给终端用户。

数据延时处理单元：提供数据后处理分析能力，以满足非实时处理场景下的测试需求；支持通过网络自动获取指定日期内的批量数据，完成自动处理分析，并形成处理分析报告。

任务规划与闭环分析单元：模拟卫星在轨运行进行数传任务规划，生成对应的任务列表，并根据规划任务，自主完成数据接收，同时根据数据分析结果生成任务闭环表，解决卫星模飞测试与老练测试长时间测试场景下，自主进行数据的接收、处理与分析的需求。

日志系统：以时间——消息结构在日志窗口中实时显示用户相关操作信息、实时/延时数据处理分析过程中的信息，并形成相应的日志文档。

网络设备控制台软件：多窗口网络设备监视配置接口，实现入网设备的IP分配与连接以及状态监测，以及时间广播功能。统一的交互配置界面解决测试过程中人员来回操作不同设备的繁琐度和复杂度。

下面结合图3和图4介绍使用本发明公开的系统的数据接收处理流程。

本发明的自动化处理流程可包括：自动化实时数据异常诊断、延时数据批处理异常诊断和自动化业务数据分发流程。

自动化实时数据异常诊断可通过数据实时处理分析软件、任务规划与闭环分析软件、日志系统功能集实现。

图3示出根据本发明的一个实施例的实时数据处理过程示意图。

用户利用任务规划软件编辑数传测试任务，应用软件利用定时器在对应时间点自动建立对应任务的网络连接，启动数据实时接收处理进程。

数据接收处理进程监测接收网络包数据，对数据包进行实时的解包，根据CCSDS帧结构提取数传帧数据，并根据虚拟信道标识进行分类。

进程对分类后的数据帧实时提取帧序号及数据域数据，并进行帧连续性判读、填充帧的误码分析，并将任何诊断出的异常信息实时推送给日志单元。

日志单元将异常信息实时打印在日志显示窗口中，对测试用户进行告警。

如图3所示，实时数据处理过程主要包括六个步骤。在步骤1，用户配置设备IP实现组网。在步骤2，用户规划各卫星数传测试任务。在步骤3，进行测试任务输入。在步骤4，进行测试信号输入。在步骤5，将数据输出到数据处理系统。在步骤6，数据处理系统将数据处理结果发送到不同位置。

在子步骤6.1，数据处理结果存储到多星处理后的数据文件入库。在子步骤6.2，通过显示器实时显示错误告警及定位。在子步骤6.3，生成数据分析报告。在子步骤6.4，进行应用数据的实时分发，分发至一个或多个数据终端。

在延时数据批处理异常诊断中，延时数据分析流程与实时流程基本相同，仅在数据形式上有所不同。延时数据是以文件为单位，特指测试后存储在服务器文件列表中的数据文件。延时数据异常自动诊断分析，需要由用户设置待分析的数据日期范围，启动数据分析进程，进程以文件为单位自动进行文件符合性的搜索、读取、分析。

图4示出根据本发明的一个实施例的使用本发明公开的系统的数据接收处理流程。

首先，在步骤401，启动网络连接。可手动或通过定时器启动网络连接。

在步骤402，判断是否接收到网络包数据。

当收到网络包数据时，在步骤403，进行数据帧提取。在步骤404，存储提取的数据帧。在步骤405，进行数据帧分类。在本发明的一个实施例中，在步骤403至步骤405，对数据包进行解包，根据CCSDS帧结构提取数传帧数据，并根据虚拟信道标识进行分类。

在步骤406，进行数据帧诊断。如果存在异常，则在步骤407，生成异常告警。具体而言，对分类后的数据帧实时提取帧序号及数据域数据，并进行帧连续性判读、填充帧的误码分析，并将任何诊断出的异常信息实时推送给日志单元。日志单元将异常信息实时打印在日志显示窗口中，对测试用户进行告警。

如果不存在异常，则在步骤408，确定是否进行数据分发。

如果确定进行数据分发，则在步骤409，进行数据分发。否则，在步骤410，判断网络连接是否断开。如果网络连接已断开，则停止数据接收处理流程，否则，返回步骤402。分发处理是在实时或延时数据异常诊断流程之后的步骤。由用户配置数据需要分发的终端连接，定时器在对应时间点自动建立与数据终端的网络连接。在数据完成分析后，数据分发软件模块将解帧格式后的分类原始业务数据进行格式打包发送给数据终端。

本发明公开的系统具有以下优点：

1)系统易扩展：如前所述，本系统基于网络架构，具有设备即插即用、灵活扩展、配置及调度、可交叉复用的优点，所有设备均在原设备上进行软件扩展改造，可根据实际卫星特点、卫星数量进行设备增添、替换或升级，以实现多星并行化测试的需求，克服了传统卫星数传地面测试系统通用性不高、无法处理多星并行测试数据的缺点。

2)多星数据接收处理自动化：系统软件实现了基于模拟卫星数传任务规划自主进行数据接收存储、分析并自动形成数据分析报告的优点，支持多星任务规划及数据自主接收，支持数据自动化分发到不同的ZH处理终端机。克服了传统卫星数传地面测试数据处理系统需要繁琐人工操作、传递数据慢的缺点，降低了测试人员的压力，提高了效率。

3)多星大数据下的快速分析与异常数据定位：以数据处理分析软件为核心的系统软件，实现了高吞吐率多星数据实时存储、快速处理与分析；实现了数据实时错误诊断、定位及告警；克服了传统卫星数传地面测试系统在批产化多星数据分析能力上的不足。

4)支持配置特定条件的数据文件自动搜索、处理与分析：系统软件支持通过设置指定日期、指定业务数据类型进行数据文件搜索、处理与分析，支持采用文件回放方式，进行数据回读处理、分析与分发。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (7)

1.一种实时数据处理分析系统，包括：

服务器以及配套的数据处理软件及设备监控软件、一个或多个一类基带处理器、一个或多个解译机、设备配置监控以太网、数据接收处理以太网、数据分发以太网、一个或多个数据终端、一个或多个二类基带处理器，

其中所述一类基带处理器、服务器以及配套的数据处理软件与数据接收处理以太网和数据分发以太网形成第一数据流实时处理与分发交互，

所述二类基带处理器、服务器以及数据接收处理软件数据接收处理以太网形成第二数据流实时处理与分发交互，第一数据流的速度高于第二数据流的速度，

所述解译机可根据实际测试需求接入数据接收处理以太网，进行中间数据的解译处理，

所述数据终端动态接入数据分发以太网形成信息交互，

所述服务器以及设备监控软件通过设备配置监控以太网，对入网设备进行权限管理、参数配置、及状态监控信息交互。

2.如权利要求1所述的数据处理分析系统，其特征在于，所述系统根据实际测试需求动态接入各设备。

3.如权利要求1所述的数据处理分析系统，其特征在于，所述服务器及设备监控配置软件对入网设备进行各项参数配置、IP管理、权限管理及状态监测。

4.如权利要求1所述的数据处理分析系统，其特征在于，所述第一数据流处理及第二数据流处理配置成进行自动化实时数据接收、存储、异常诊断及异常数据提取、业务数据可配分发，异常数据同步后台异常分析。

5.一种使用如权利要求1至4中任一项所述的数据处理分析系统进行数据处理分析的方法，包括：

通过服务器及数据接收处理软件中的任务模块，驱动处理流程：在任务开始时刻建立网络连接，启动数据接收处理流程，数据接收处理软件接收基带处理设备发出的网络包数据进行数据帧提取并存储提取的数据帧；

进行数据帧分类；

进行分类数据帧连续性诊断；

如果数据帧存在异常，提取并存储异常数据帧，生成异常告警，分析异常类型及定位异常位置，并在日志窗口实时输出异常帧错误信息；

如果数据帧不存在异常，则确定是否进行数据分发；

如果确定进行数据分发，则根据接入数据分发网的数据终端权限，进行分类数据分发，

在任务结束时刻，自主断开数据接收处理网络，并生成本次任务接收处理信息日志。

6.如权利要求5所述的数据处理分析方法，其特征在于，所述进行数据帧分类包括根据虚拟信道标识进行分类。

7.如权利要求5所述的数据处理分析方法，其特征在于，对分类后的数据帧实时提取帧序号及数据域数据，并进行帧连续性判读、填充帧的误码分析，并将任何诊断出的异常信息实时推送给日志单元，日志单元将异常信息实时打印在日志显示窗口中，对测试用户进行告警。