CN109861789B - 一种适应慢记快发的流水线遥测数据批量处理系统 - Google Patents

Abstract

本发明公开了一种适应慢记快发的流水线遥测数据批量处理系统，包括多个计算机节点和软总线，所述多个计算机节点进行自动组网，组网后形成一个管理节点、多个拆分节点和参数节点，管理节点、拆分节点和参数节点中带有数据接口的节点同时作为接收节点。本发明不需要数据处理人员对数据进行大量的手工处理，节省处理时间，提高航天器的测试效率。

Description

一种适应慢记快发的流水线遥测数据批量处理系统

技术领域

本发明涉及一种适应慢记快发的流水线遥测数据批量处理系统，属于遥测数据判读领域。

背景技术

随着空间科技的发展,航天器的功能和结构越来越复杂，运行过程中产生的数据量也越来越大。随着遥测技术的发展，遥测支持的码率不断提高，同时由于飞行器轨道越来越多变和复杂，地面高码率接收设备存在不能覆盖飞行全程的可能。由于以上条件限制，当前的遥测数据体现出了码率高、码率变化的特征。现阶段的遥测数据处理普遍在单台计算机或者服务器上，使用固定帧格式对遥测数据进行解析，因此对于变码率的数据，需要首先对数据进行判断和分割，并对不同码率的数据进行依次处理，在分别处理完成后再对数据进行拼接，形成时间连贯的数据供分析、判读使用。这种处理方式需要数据处理人员对数据进行大量的手工处理，并花费较多的处理时间，影响航天器的测试效率。因此，设计一种适应慢记快发的流水线式遥测数据批量处理方法显得尤为重要。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种适应慢记快发的流水线遥测数据批量处理系统，不需要数据处理人员对数据进行大量的手工处理，节省处理时间，提高航天器的测试效率。

本发明的技术解决方案是：

一种适应慢记快发的流水线遥测数据批量处理系统，包括多个计算机节点和软总线，所述多个计算机节点进行自动组网，组网后形成一个管理节点、多个拆分节点和参数节点，管理节点、拆分节点和参数节点中带有数据接口的节点同时作为接收节点；

管理节点：在系统中同一时刻仅有一个，负责流水线的实时管理调度，读取并记录软总线上的数据信息；

接收节点：接收遥测数据，根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

拆分节点：从软总线订阅遥测数据，并对其进行帧拆分，将拆分得到的数据和信息发布到软总线；

参数节点：从软总线订阅参数数据，进行参数物理值解析作业，然后按照时间顺序进行存储，同时向软总线发布参数解析结果。

多个计算机节点进行自动组网的方式如下：

1)每个计算机节点上线后，向软总线发送当前时刻的节点心跳包；

2)每个计算机节点接收其他计算机的节点心跳包；

3)比较自身节点心跳包与接收到的其他计算机节点心跳包的时间，若自身节点心跳包时间最靠前，则继续向软总线发送节点心跳包，并成为管理节点；

4)一旦收到时间更靠前的节点心跳包，则自动退化为解析节点，所述解析节点为拆分节点或参数节点。

管理节点进行流水线管理调度的方式如下：

1)统计遥测数据中需要解析的数据量；

2)根据接收到的节点心跳包统计节点数目、节点资源剩余情况和每个节点状态；

3)统计当前流水线上的数据和信息，判断拆分节点和参数节点状态，将有任务堆积的节点标记为繁忙，将一直无提交数据的节点标记为掉线；

4)实时判断各个节点状态，若状态有变化，则调整节点类型，并下发具体任务。

管理节点下发具体任务是指，向每个拆分节点下发其具体负责拆分的帧类型；向每个参数节点下发其具体负责解析的参数信息。

拆分节点的工作流程如下：

1)向软总线中汇报当前节点状态和资源余量；

2)根据管理节点分配的任务向软总线进行遥测数据订阅；

3)若收到需要拆分的遥测数据，则进行帧拆分作业，将拆分后的数据和信息发布至软总线；

4)若长时间未收到管理节点心跳，则重新进行自动组网。

参数节点的工作流程如下：

1)向软总线中汇报当前节点状态和资源余量；

2)根据管理节点分配的任务向软总线进行参数订阅；

3)若收到需要解析的参数数据，则进行参数物理值解析作业，解析后按照时间顺序进行存储，同时向软总线发布参数解析结果；

4)若长时间未收到管理节点心跳，则进入自动组网流程。

拆分节点对遥测数据进行帧拆分时，遥测数据能够直接拆分成参数的，向软总线发布的数据和信息包括参数原码+时标+辅助波道。

拆分节点对遥测数据进行帧拆分时，遥测数据需先拆解为其他帧类型的，向软总线发布的数据和信息包括帧原码+时标结构体。

遥测数据被拆解为其他帧类型后，由其他拆分节点继续拆分。

所述批量处理系统的处理流程，包括如下步骤：

(1)多个接收节点同时接收到遥测数据，每个接收节点根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

(2)管理节点读取并记录软总线上的数据信息；

(3)软总线根据遥测数据的帧格式，将所述遥测数据发送给能够处理该类帧格式的拆分节点；

(4)拆分节点对遥测数据进行拆分，如果遥测数据直接拆分成参数，则将拆分得到的参数数据和信息发布到软总线，如果遥测数据被拆解为其他帧类型的，将拆分后的信息发布至软总线，然后重复执行步骤(2)-(4)，直到被拆分成参数；

(5)管理节点读取并记录软总线上的参数信息；

(6)软总线根据参数信息，将参数数据发送给对应的参数节点；

(7)参数节点对参数数据进行物理值解算和时间排序，排序完成后进行存储。

与现有技术相比，本发明具有如下有益效果：

(1)现有航空飞行器遥测数据多采用慢记快发形式，现有手段中对慢记快发形式的数据，需要通过大量的手工处理对数据进行判断和分割，并对不同码率的数据进行依次处理，在分别处理完成后再对数据进行拼接。本发明能够对码率变化进行自适应，当遥测数据出现慢记快发时，接收节点可以根据格式判断，并由软总线将遥测数据推送给不同的拆分节点，最终解析后的参数由参数节点根据时间进行排序和汇总，实现了慢记快发数据的连续处理，避免了数据处理人员对数据进行大量的手工处理，节省处理时间。

(2)本发明采用基于软总线的多处理机协同方法，对遥测数据进行并发式流水线式处理，实现对5M+10M大码率且码率存在切换情况的遥测数据的实时解析和存储，提高了航天器的测试效率。

附图说明

图1为本发明系统组成示意图；

图2为自动组网流程图；

图3为管理节点工作流程；

图4为非管理节点工作流程；

图5为本发明批量处理系统处理流程。

具体实施方式

本发明公开了一种适应慢记快发的流水线遥测数据批量处理系统，包括多个计算机节点和软总线，多个计算机节点进行自动组网，组网后形成一个管理节点、多个拆分节点和参数节点，管理节点、拆分节点和参数节点中带有数据接口的节点同时作为接收节点。如图1所示。接口节点完成数据的接收，其他节点连接在内部网络中，通过中间件形成的软总线进行信息交互和协同处理。

具体地，

管理节点：在系统中同一时刻仅有一个，负责流水线的实时管理调度，读取并记录软总线上的数据信息；

接收节点：接收遥测数据，根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

拆分节点：从软总线订阅遥测数据，并对其进行帧拆分，将拆分得到的数据和信息发布到软总线；

参数节点：从软总线订阅参数数据，进行参数物理值解析作业，然后按照时间顺序进行存储，同时向软总线发布参数解析结果。

如图2所示，多个计算机节点进行自动组网的方式如下：

1)每个计算机节点上线后，向软总线发送当前时刻的节点心跳包；

2)每个计算机节点接收其他计算机的节点心跳包；

3)比较自身节点心跳包与接收到的其他计算机节点心跳包的时间，若自身节点心跳包时间最靠前，则继续向软总线发送节点心跳包，并成为管理节点；

4)一旦收到时间更靠前的节点心跳包，则自动退化为解析节点，并向管理节点发送状态包，执行管理节点指令，所述解析节点为拆分节点或参数节点。

如图3所示，管理节点进行流水线管理调度的方式如下：

1)统计遥测数据中需要解析的数据量；

2)根据接收到的节点心跳包统计节点数目、节点资源剩余情况和每个节点状态；

3)统计当前流水线上的数据和信息，判断拆分节点和参数节点状态，将有任务堆积的节点标记为繁忙，将一直无提交数据的节点标记为掉线；

4)实时判断各个节点状态，若状态有变化，则调整节点类型，并下发具体任务。

管理节点下发具体任务是指，向每个拆分节点下发其具体负责拆分的帧类型；向每个参数节点下发其具体负责解析的参数信息。

如图4所示，拆分节点和参数节点(非管理节点)的工作流程如下：

1)向软总线中汇报当前节点状态和资源余量；

2)根据管理节点分配的任务向软总线进行遥测数据订阅；

3)若收到需要拆分的遥测数据，则进行帧拆分作业，将拆分后的数据和信息发布至软总线；

拆分节点对遥测数据进行帧拆分时，遥测数据能够直接拆分成参数的，向软总线发布的数据和信息包括参数原码+时标+辅助波道。拆分节点对遥测数据进行帧拆分时，遥测数据需先拆解为其他帧类型的，向软总线发布的数据和信息包括帧原码+时标结构体。遥测数据被拆解为其他帧类型后，由其他拆分节点继续拆分。

4)若收到需要解析的参数数据，则进行参数物理值解析作业，解析后按照时间顺序进行存储，同时向软总线发布参数解析结果；

5)若长时间未收到管理节点心跳，则重新进行自动组网。

如图5所示，本发明批量处理系统在接收到数据后，执行流水线式遥测数据处理流程，该流程能适应慢记快发的变码率情况，具体包括如下步骤：

(1)多个接收节点同时接收到遥测数据，每个接收节点根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

(2)管理节点读取并记录软总线上的数据信息；

(3)软总线根据遥测数据的帧格式，将所述遥测数据发送给能够处理该类帧格式的拆分节点；

(4)拆分节点对遥测数据进行拆分，如果遥测数据直接拆分成参数，则将拆分得到的参数数据和信息发布到软总线，如果遥测数据被拆解为其他帧类型的，将拆分后的信息发布至软总线，然后重复执行步骤(2)-(4)，直到被拆分成参数；

(5)管理节点读取并记录软总线上的参数信息；

(6)软总线根据参数信息，将参数数据发送给对应的参数节点；

(7)参数节点对参数数据进行物理值解算和时间排序，排序完成后进行存储。

本发明中，由于接收节点接收遥测数据后，根据遥测数据的帧码率和类型确定配置中对应的帧格式，当遥测数据出现慢记快发时，接收节点可以根据格式判断，并由软总线将遥测数据推送给不同的拆分节点，最终解析后的参数由参数节点根据时间进行排序和汇总，实现了慢记快发的数据的连续处理。

本发明经过实际试验，能够对5M+10M大码率且码率存在切换情况的遥测数据进行实时解析和存储。

本发明未详细说明部分属本领域技术人员公知常识。

Claims (6)

1.一种适应慢记快发的流水线遥测数据批量处理系统，其特征在于：包括多个计算机节点和软总线，所述多个计算机节点进行自动组网，组网后形成一个管理节点、多个拆分节点和参数节点，管理节点、拆分节点和参数节点中带有数据接口的节点同时作为接收节点；

多个计算机节点进行自动组网的方式如下：

1)每个计算机节点上线后，向软总线发送当前时刻的节点心跳包；

2)每个计算机节点接收其他计算机的节点心跳包；

3)比较自身节点心跳包与接收到的其他计算机节点心跳包的时间，若自身节点心跳包时间最靠前，则继续向软总线发送节点心跳包，并成为管理节点；

4)一旦收到时间更靠前的节点心跳包，则自动退化为解析节点，所述解析节点为拆分节点或参数节点；

管理节点：在系统中同一时刻仅有一个，负责流水线的实时管理调度，读取并记录软总线上的数据信息；

接收节点：接收遥测数据，根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

拆分节点：从软总线订阅遥测数据，并对其进行帧拆分，将拆分得到的数据和信息发布到软总线；

拆分节点对遥测数据进行帧拆分时，遥测数据能够直接拆分成参数的，向软总线发布的数据和信息包括参数原码+时标+辅助波道；

拆分节点对遥测数据进行帧拆分时，遥测数据需先拆解为其他帧类型的，向软总线发布的数据和信息包括帧原码+时标结构体；

遥测数据被拆解为其他帧类型后，由其他拆分节点继续拆分；

参数节点：从软总线订阅参数数据，进行参数物理值解析作业，然后按照时间顺序进行存储，同时向软总线发布参数解析结果。

2.根据权利要求1所述的一种适应慢记快发的流水线遥测数据批量处理系统，其特征在于：管理节点进行流水线管理调度的方式如下：

1)统计遥测数据中需要解析的数据量；

2)根据接收到的节点心跳包统计节点数目、节点资源剩余情况和每个节点状态；

3)统计当前流水线上的数据和信息，判断拆分节点和参数节点状态，将有任务堆积的节点标记为繁忙，将一直无提交数据的节点标记为掉线；

4)实时判断各个节点状态，若状态有变化，则调整节点类型，并下发具体任务。

3.根据权利要求2所述的一种适应慢记快发的流水线遥测数据批量处理系统，其特征在于：管理节点下发具体任务是指，向每个拆分节点下发其具体负责拆分的帧类型；向每个参数节点下发其具体负责解析的参数信息。

4.根据权利要求3所述的一种适应慢记快发的流水线遥测数据批量处理系统，其特征在于：拆分节点的工作流程如下：

1)向软总线中汇报当前节点状态和资源余量；

2)根据管理节点分配的任务向软总线进行遥测数据订阅；

3)若收到需要拆分的遥测数据，则进行帧拆分作业，将拆分后的数据和信息发布至软总线；

4)若长时间未收到管理节点心跳，则重新进行自动组网。

5.根据权利要求3所述的一种适应慢记快发的流水线遥测数据批量处理系统，其特征在于：参数节点的工作流程如下：

1)向软总线中汇报当前节点状态和资源余量；

2)根据管理节点分配的任务向软总线进行参数订阅；

3)若收到需要解析的参数数据，则进行参数物理值解析作业，解析后按照时间顺序进行存储，同时向软总线发布参数解析结果；

4)若长时间未收到管理节点心跳，则进入自动组网流程。

6.利用权利要求1所述批量处理系统的处理流程，其特征在于包括如下步骤：

(1)多个接收节点同时接收到遥测数据，每个接收节点根据接收遥测数据的帧码率和类型确定配置中对应的帧格式，将遥测数据和对应的帧格式、接收时间信息一起发布至软总线；

(2)管理节点读取并记录软总线上的数据信息；

(3)软总线根据遥测数据的帧格式，将所述遥测数据发送给能够处理该类帧格式的拆分节点；

(4)拆分节点对遥测数据进行拆分，如果遥测数据直接拆分成参数，则将拆分得到的参数数据和信息发布到软总线，如果遥测数据被拆解为其他帧类型的，将拆分后的信息发布至软总线，然后重复执行步骤(2)-(4)，直到被拆分成参数；

(5)管理节点读取并记录软总线上的参数信息；

(6)软总线根据参数信息，将参数数据发送给对应的参数节点；

(7)参数节点对参数数据进行物理值解算和时间排序，排序完成后进行存储。

Images