CN114330246A - 一种通用性数据流解析方法及系统 - Google Patents

Abstract

本发明公开了一种通用性数据流解析方法及系统，该方法包括：配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；接收待解析数据流；在所述解析表中查找与所述待解析数据流对应的参数配置表；根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。本发明的通用性数据流解析方法通过对数据进行一次性批量配置，实现了原配置工作量的极大简化，且可满足在测运控领域各型各类数据流的解析处理，通过此种解析和参数配置方法，参照不同的功能需求，可以扩展至所有数据流的解析处理问题，大大缩短数据处理工程量，提高了数据解析效率。

Description

一种通用性数据流解析方法及系统

技术领域

本发明属于航天数据处理领域，具体涉及一种通用性数据流解析方法及系统。

背景技术

当前航天测运控业务中通用数据解析配置方式需要进行数据格式、参数大表的分别部署，针对不同的数据流，有的参数可达到数万以上，配置工作量巨大，因此对于如何提升数据流解析效率是目前亟待解决的问题。现有技术中目前有以下方式。

1、专利文件(专利号：CN202011611366.4)提出了一种卫星遥测数据处理方法、系统及星座状态监控平台，其主要技术方案是主计算节点通过天线接收卫星遥测数据，将遥测数据分发给多个子计算节点进行计算，但是本方法主要是基于分布式计算而最大限度缩短计算时间的目的，完成大量多星的星座的遥测数据处理速率的提升，但并未对遥测数据的处理算法进行设计和更新，也无法完成数据流的通用型解析的需求。

2、专利文件(专利号：CN202010862330.7)提出了一种采用神经网络的遥测数据处理方法，利用神经的函数映射功能和泛化学习能力，简化飞行器遥测处理过程，实现飞行器遥测数据处理程序不因传感器参数的不同而特定编写，提高面向传感器的适应性，该种方式主要解决了飞行棋传感器的采集值向遥测数据的数字量转化问题，但并未解决地面站点遥测数据接收后的处理算法研究、配置及其通用性、普适性延展。

3、2017年4月，兰州大学硕士毕业生王瑞成发表了名为《遥测数据方法研究及处理实现》的论文，提出了一种基于数据库的数据处理方法，但是本方法主要是面向航天靶场的特定遥测数据处理需求的动态适应能力及数据管理，未能形成更为广泛的遥测数据处理应用场景，更偏向于定制化的数据处理应用系统的特定技术开发和突破，缺乏一定的通用性和扩展性。

4、2017年5月，中国科学院大学硕士毕业生王博发表了名为《符合CCSDS标准的遥测采编和遥控译码单元》的论文，文章以系列标准为指导，基于FPGA平台，实现了高效、通用、灵活的遥测采编和遥控译码系统，本文研究方向主要是面向数据的采集、编码及数据预处理，未能对航天卫星数据的遥测数据处理与通用化配置做更多的研究。

5、2011年10月，西安电子科技大学硕士毕业生杜宏银发表了名为《一种遥测数据处理系统》的论文，文中提出了一种遥测数据处理系统的设计方案，在现有软件无线电的基础上，将中频处理、信号解调、同步处理、数据显示等关键技术利用普通计算机来完成。本文主要基于通信链路的硬件设备层面，实现对信号的解调、管理、显示等功能，未能在数据处理、数据编排、通用性解析等算法层面进行研究和优化。

综上所述，现有技术的方案均无法解决大规模的通用数据流解析，只能在每次解析时手动配置，因此费时费力，不仅效率低下，而且浪费人力资源。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种通用性数据流解析方法及系统。本发明要解决的技术问题通过以下技术方案实现：

一种通用性数据流解析方法，包括：

配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

接收待解析数据流；

在所述解析表中查找与所述待解析数据流对应的参数配置表；

根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

在一个具体实施方式中，配置数据流解析规则以形成解析表，包括：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

在一个具体实施方式中，所述解析表以XML格式进行存储。

在一个具体实施方式中，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。

在一个具体实施方式中，在接收待解析数据流之后还包括：

判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

本发明同时提供了一种通用性数据流解析系统，包括：

解析配置模块，用于配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

数据流接收模块，用于接收待解析数据流；

查找模块，用于在所述解析表中查找与所述待解析数据流对应的参数配置表；

解析模块，用于根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

在一个具体实施方式中，所述解析配置模块具体用于：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

在一个具体实施方式中，所述解析表以XML格式进行存储。

在一个具体实施方式中，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。

在一个具体实施方式中，在接收待解析数据流之后还包括：

判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

本发明的有益效果：

本发明的通用性数据流解析方法通过对数据进行一次性批量配置，实现了原配置工作量的极大简化，且可满足在测运控领域各型各类数据流的解析处理，通过此种解析和参数配置方法，参照不同的功能需求，可以扩展至所有数据流的解析处理问题，大大缩短数据处理工程量，提高了数据解析效率。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种通用性数据流解析方法流程示意图；

图2是本发明实施例提供的一种通用性数据流解析方法参数配置表示意图；

图3是本发明实施例提供的一种通用性数据流解析系统模块框图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种通用性数据流解析方法流程示意图，该方法包括：

S1、配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

S2、接收待解析数据流；

S3、在所述解析表中查找与所述待解析数据流对应的参数配置表；

S4、根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

在一个具体实施方式中，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。为了更清楚的说明本方案的实施，请参见图2，name、MID、dataZones分别表示配置名称、标识码和参数配置表，在该实例中，依次示出了版本号、任务代号、信源等若干字节的具体定义以及函数规则，基于数据格式要求，依据数据流中不同的字节/位所对应相应的参数项，在参数配置界面对每一参数及其特性依次配置，当源数据流输入后，就依据配置对数据流的每一字段进行解析处理，输出可用于最终阅读和使用的结果数据，从而完成通用型数据流的解析。

具体的，配置数据流解析规则以形成解析表，包括：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

优选的，所述解析表以XML格式进行存储。当然，在具体实施中可以根据实际情况选择合适的数据存储方式进行存储。

此外，在接收待解析数据流之后还包括：判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

一般的，一个时间序列中接收到的数据不一定是完整的，因此需要在每次接收完成之后进行判断，只有判断待解析数据流完整之后才能开始进行解析。

一般的，在进行数据帧解析过程中会涉及到的三种类型的数据，1、固定参数：它的FILED_CODE是固定值，不管是文字性描述还是数值，这类参数会在使用前已经通过标准解析函数读取到TMBufferlmol中，后续需要使用的时候直接读取就可以；2、常量：进行计算的时候公式中用到的常量等，在参数表中定义；3、表达式：Fel引擎支持的表达式类型。

在进行具体解析时，通常有如下几种函数解析规则：

1、CommonFunctionCarryByte：通用型解析函数，是使用最多的函数，和具体数据类型无关，只是通过功能以及参数列表，取出一种对应的参数类型以及表达式进行计算并保存计算结果；

2、MPDUDataAreaFunction：帧数据域解析函数，例如某128帧数据块中的111字节，对应所有的分包源码数据，每个包的第5个字节表示的是包的数据域长度Len，包头6个字节，因此每个包的长度是Len+6。这样循环将每个包解析出来，形成EPDU列表。

3、EPDUDataAreaFunction：分包数据域解析函数长度不定，会先从数据参数表中取出包的识别码，进而找出对应的子配置进行解析。需要当包标识的值与配置项中的Filedcode相同时，然后才会进行对应config依次执行。

4、DataTimeParseFunction：积秒转日期解析类，按照预设的格式以及起始日期进行计算，算出对应的时间值。

5、FastFramesTMDataFunction：快帧类数据处理。快帧数据主要是指需发送方与接收方需快发快收、立即执行的一些命令功能数据，快帧数据进行优先级编辑排序，依照优先级次序依次发送与执行。

此外，在具体解析中涉及一些具体的解析方法，本实施例不在赘述，仅列举几种方式，如TMDispatcherImpl的dispatch方法、TMDispatcherImpl的saveCache(byte[]temp)方法、BFSourceToTMDataExecutor的doWork方法、BFSourceToTMDataExecutor的sendDataPack方法、BFSourcePackImpl的multiUnpack(byte[]data)方法、UnPackConfigFactory的excuteFunction(r)方法、UnPackConfig的excuteFunction(Repository r)方法。

需要说明的是，本实施例展示的目的并不在于具体如何进行解析，而是如何通过本实施例提供的步骤，使得数据能够以正确的方式高效的被解析出来。

本发明的通用性数据流解析方法通过对数据进行一次性批量配置，实现了原配置工作量的极大简化，且可满足在测运控领域各型各类数据流的解析处理，通过此种解析和参数配置方法，参照不同的功能需求，可以扩展至所有数据流的解析处理问题，大大缩短数据处理工程量，提高了数据解析效率。

实施例二

请参见图3，本发明同时提供了一种通用性数据流解析系统，包括：

解析配置模块，用于配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

数据流接收模块，用于接收待解析数据流；

查找模块，用于在所述解析表中查找与所述待解析数据流对应的参数配置表；

解析模块，用于根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

在一个具体实施方式中，所述解析配置模块具体用于：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

在一个具体实施方式中，所述解析表以XML格式进行存储。

在一个具体实施方式中，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。

在一个具体实施方式中，在接收待解析数据流之后还包括：

判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

本领域技术人员应明白，本申请的实施例可提供为方法、、系统、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、系统、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种通用性数据流解析方法，其特征在于，包括：

配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

接收待解析数据流；

在所述解析表中查找与所述待解析数据流对应的参数配置表；

根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

2.根据权利要求1所述的通用性数据流解析方法，其特征在于，配置数据流解析规则以形成解析表，包括：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

3.根据权利要求1所述的通用性数据流解析方法，其特征在于，所述解析表以XML格式进行存储。

4.根据权利要求1所述的通用性数据流解析方法，其特征在于，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。

5.根据权利要求1所述的通用性数据流解析方法，其特征在于，在接收待解析数据流之后还包括：

判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

6.一种通用性数据流解析系统，其特征在于，包括：

解析配置模块，用于配置数据流解析规则以形成解析表，所述解析表包括若干配置对象，其中每个所述配置对象包括配置名称、标识码和参数配置表；

数据流接收模块，用于接收待解析数据流；

查找模块，用于在所述解析表中查找与所述待解析数据流对应的参数配置表；

解析模块，用于根据所述参数配置表中的解析规则对所述待解析数据流中的每个字段进行解析，得到解析结果。

7.根据权利要求6所述的通用性数据流解析系统，其特征在于，所述解析配置模块具体用于：

根据配置名称、标识码进行参数配置形成对应的参数配置表；

将所述配置名称、所述标识码和所述参数配置表进行关联形成配置对象；

将若干配置对象组合形成解析表。

8.根据权利要求6所述的通用性数据流解析系统，其特征在于，所述解析表以XML格式进行存储。

9.根据权利要求6所述的通用性数据流解析系统，其特征在于，所述参数配置表的表头包括参数名称、字节长度、起始字节位置、数据类型、解析规则、解析函数。

10.根据权利要求6所述的通用性数据流解析系统，其特征在于，在接收待解析数据流之后还包括：

判断待解析数据流是否获取完毕，若是，则在所述解析表中查找与所述待解析数据流对应的参数配置表。

Images