CN117336393A - 一种基于配置模型实现报文数据自动解析的方法及系统 - Google Patents

Abstract

本发明公开了一种基于配置模型实现报文数据自动解析的方法，包括：根据报文数据的各种报文协议来创建相对应的配置文件；创建协议对象列表，读取配置文件中的配置信息并存储配置信息至协议对象列表中；读取待解析的报文数据，根据协议对象列表中存储的配置信息确定该报文数据的解析方式，对该报文数据进行解析；报文数据解析完成后，将生成的数据进行输出或存储。本发明还公开了一种基于配置模型实现报文数据自动解析的系统。本发明通过创建配置文件即可实现不同报文协议格式的数据解析，具有通用性、灵活性、维护简便的优点。

Description

一种基于配置模型实现报文数据自动解析的方法及系统

技术领域

本发明主要涉及城市轨道交通设备的数据采集和数据解析领域，具体涉及一种基于配置模型实现报文数据自动解析的方法及系统。

背景技术

近年来，中国城市轨道交通快速发展，城市轨道交通企业运用互联网、大数据、物联网、云计算、人工智能、故障预测与健康管理等技术，在城市轨道交通智能运维领域进行探索，智能运维逐渐成为行业焦点。数据的采集、解析是智能运维的基础，但由于城市轨道交通涉及车辆、信号、供电、通信、牵引等多个子系统，设备种类及厂家众多，各设备厂家接口协议不统一且协议变更频繁，给数据解析带来了困难。传统数据解析方式是针对每个报文协议，编码实现数据报文的解析，若报文协议发生变更需要修改解析软件，这种解析方式开发工作量较大，效率低下，维护复杂，不具有通用性和灵活性。因此，提出一种配置简单、维护简便、通用的数据报文自动解析方案很有必要。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种配置简单、维护简便、通用、灵活的基于配置模型实现报文数据自动解析的方法及系统，以解决在城轨设备报文协议众多且变更频繁情况下，传统数据解析方式工作量巨大且维护复杂的问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于配置模型实现报文数据自动解析的方法，包括步骤：

S1、根据报文数据的各种报文协议来创建相对应的配置文件；

S2、创建协议对象列表，读取配置文件中的配置信息并存储配置信息至协议对象列表中；

S3、读取待解析的报文数据，根据协议对象列表中存储的配置信息确定该报文数据的解析方式，对该报文数据进行解析；

S4、报文数据解析完成后，将生成的数据进行输出或存储。

作为上述技术方案的进一步改进：

步骤S1中，所述配置文件为基于Excel模板的配置文件；

所述配置文件的列包括解析项、二次解析项、所属二次解析项、起始字节、字节长度、起始位、位长度、解析方式、数据存储方式、数据类型、输出项Key映射、输出项Value映射、格式化方式、逻辑表达式、是否条件项、条件中的一个或多个；

所述配置文件的每一行对应报文协议中的一个项点。

步骤S2包括：

对于基于Excel模板的配置文件中的每一行，创建与该行对应映射的协议对象，且协议对象中的每个成员与该行中的每个单元格一一对应；

读取所述配置文件中的每行信息，并写入协议对象列表；

对协议对象列表中的数据进行过滤，并按二次解析项名称进行分组。

步骤S2还包括：

判断报文协议是否含有码位信息，若该报文协议含有码位信息，则创建码位对象列表，读取码位信息中的码位数据并存储至所述码位对象列表中；

其中，码位对象列表中的每个码位对象的成员包括码位名称、码位序号、码位分类。

步骤S3中，对报文数据的解析包括步骤：

将报文数据已解析的长度初始化为0，并将协议对象列表对应的指针初始化为该协议对象列表的头部；

对于协议对象列表中的每一个协议对象，判断该协议对象的解析方式，并对报文数据中的一个项点进行提取和解析；每个协议对象解析完成后，将报文数据已解析的长度增加当前协议对象中的字节长度值，并将协议对象列表对应的指针加1；

重复执行上述对协议对象的操作步骤，直至判断到协议对象列表对应的指针到达该协议对象列表的尾部，此时报文数据解析完成；

其中，解析方式包括字节解码、位解码、格式化解码、二次解码。

协议对象的解析方式判断完成后，根据解析方式执行下列操作之一：

若判断到解析方式为字节解码，根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，然后再根据数据存储方式、数据类型、数组步长信息实现报文数据的解析；

若判断到解析方式为位解码，根据该协议对象中的起始字节、起始位、位长度、数组步长定位到待解析报文数据的具体位置，实现报文数据的解析；

若判断到解析方式为格式化解码，根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，根据步长对报文数据进行分步解析获取多个解析值后，再将获取的解析值按格式化表达式进行组合成一个格式化后的解析值，实现报文数据的解析；

若判断到解析方式为二次解码，则解析步骤如下：

根据二次解码起始字节、循环数据偏移量、字节长度截取待解析的变长部分报文数据作为递归调用待解析的报文数据；

在协议对象列表中查找所属二次解析项为当前协议对象中的二次解析项的记录，并存储为二次解析项，作为递归调用中报文数据对应的协议对象列表；

首次循环偏移量设置为0，每一轮循环结束后偏移量累加上本轮次循环解析的结构长度，循环递归调用的终止条件为循环数据偏移量不小于变长部分数据长度；

每一轮循环递归调用实现变长数据中一个结构体数据的解析，直至循环递归调用满足终止条件，实现报文数据的解析。

若判断到解析方式为二次解码，且变长部分报文数据的协议格式是映射为N层嵌套的结构体数组形式，则通过执行N次二次解码的递归调用，从结构的第N层开始解析，第N层解析完递归返回上一层解析，逐层返回并完成第一层解析后，完成变长协议映射结构体数组最外层的一个结构体成员的解析，以实现报文数据的解析。

步骤S4中，报文数据解析完成后，将报文数据中的所有解析项点及其解析后的提取值按键值对形式组合，并存储到数据库或者中间件。

本发明还提供一种基于配置模型实现报文数据自动解析的系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行上述基于配置模型实现报文数据自动解析的方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行上述基于配置模型实现报文数据自动解析的方法。

与现有技术相比，本发明的优点在于：

本发明将各类格式的报文协议通过抽象、归纳后转换为统一格式的配置文件，通过调整配置信息即可实现不同报文协议格式的数据解析，配置简单、维护简便，具有通用性，提高了开发效率，降低了维护成本；

本发明支持定长协议、变长协议、多层嵌套且嵌套内部为变长的协议、含有码位信息的各类复杂协议格式的配置及自动解析，可作为通用数据解析平台，支持各应用领域的数据解析业务，具有较强的通用性、灵活性；

本发明可通过配置方式实现同时支持一种或任意几种报文协议的报文数据解析，可根据报文数据量大小、硬件资源情况实现数据解析的分布式部署应用，提高解析性能。

附图说明

图1为本发明实施例提供的基于配置模型实现报文数据自动解析的方法的流程框图。

图2为本实施例采用的报文数据自动解析方法的具体步骤的流程图。

图3为本实施例采用的Excel配置文件样例的示意图。

图4为本实施例的报文数据解析后按JSON格式写入中间件的输出样例的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本实施例提供一种基于配置模型实现报文数据自动解析的方法，包括步骤：

S1、根据报文数据的各种报文协议来创建相对应的配置文件；

S2、创建协议对象列表，读取配置文件中的配置信息并存储配置信息至协议对象列表中；

S3、读取待解析的报文数据，根据协议对象列表中存储的配置信息确定该报文数据的解析方式，对该报文数据进行解析；

S4、报文数据解析完成后，将生成的数据进行输出或存储。

可以理解，本实施例的基于配置模型实现报文数据自动解析的方法，将不同格式的报文协议转换为对应的配置文件，报文数据解析根据配置文件中的配置信息实现报文数据的自动解析，若报文协议发生变更，只需修改相应的配置文件，而不需修改软件源码的解析方法，这种方式配置简单、维护简便，提高了开发效率，降低了维护成本；通过配置文件的方式实现同时支持一种或任意几种报文协议的报文数据解析，可根据报文数据量大小、硬件资源情况实现数据解析的分布式部署应用，提高解析性能。

作为一种优选的实施方式，本实施例根据报文数据的各种报文协议，采用Excel模板来创建相对应的配置文件，具体步骤如下(对应步骤S1)：

在Excel模板中配置不同报文协议对应的配置文件，将报文协议中描述的每个项点转化为Excel模板中的一条记录元素(对应为Excel模板中的一行)，每条记录元素包含解析项、二次解析项、所属二次解析项、起始字节、字节长度、起始位、位长度、解析方式(分为字节解码、位解码、格式化解码、二次解码)、数据存储方式(分为大端模式、小端模式)、数据类型、输出项Key映射、输出项Value映射、格式化方式、逻辑表达式、是否条件项、条件等项点。配置好的Excel配置文件的样例如图3所示。需要说明的是，除了采用Excel模板，也可以采用其他可读写文本内容的任意文档格式，如txt、doc等，只要能够将报文协议中的项点对应记录即可。

作为一种优选的实施方式，本实施例采用List列表作为存储数据的结构来创建协议对象列表，通过读取Excel配置文件中的配置信息，将其存储至协议对象列表List<Cprotocol>中，具体步骤如下(对应步骤S2)：

创建协议对象Cprotocol，协议对象与Excel配置文件中的一条记录(一行)映射，协议对象中的每个成员与一条记录中的每个单元格一一对应；

读取Excel配置文件中的每行信息，写入协议对象列表List<Cprotocol>；

对协议对象列表List<Cprotocol>中的数据进行过滤，并按二次解析项名称进行分组；

对于含有码位信息的报文协议，读取码位数据存储至码位对象列表List<Code>中，码位对象包含码位名称、码位序号、码位分类等成员。

需要说明的是，List列表仅是本实施例中的优选实施方式，还可以采用其他具有存储功能的容器或者集合(如Set、Map等)来存储配置文件中的配置信息。

可以理解，对于根据不同场景含有不同码位信息的变长协议，本发明通过协议格式配置文件和码位信息文件结合解析方式，将码位数据与码位信息映射、转换，从而实现含有码位信息协议的解析。

作为一种优选的实施方式，本实施例对报文数据进行解析的具体步骤如下(对应步骤S3)：

循环读取协议对象列表List<Cprotocol>中的每一条协议对象Cprotocol，根据协议对象Cprotocol对报文数据进行解析，具体为：

根据当前协议对象Cprotocol中的解析方式的成员值对报文数据项进行不同的提取，解析方式分为字节解码、位解码、格式化解码、二次解码四种方式，具体每种解码实现方案如下：

1、字节解码：根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，然后再根据数据存储方式、数据类型(整型、数组、Unix时间、GBK、UTF-8等)、数组步长等信息实现报文数据的解析，解析后的值可按整型、浮点、数组格式([a,b,d])、日期格式(可配置)、中文字符串等格式输出；

2、位解码：根据该协议对象中的起始字节、起始位、位长度、数组步长定位到待解析报文数据的具体位置，实现报文数据的解析，解析后的值可按整型、数组格式([a,b,d])输出；

3、格式化解码：根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，根据步长对报文数据进行分步解析获取多个解析值后，再将获取的解析值按格式化表达式进行组合成一个格式化后的解析值；

4、二次解码：循环递归调用报文数据解析任务，具体步骤如下：

根据二次解码起始字节、循环数据偏移量、字节长度(变长数据总长度)截取待解析的变长部分报文数据作为递归调用待解析的报文数据；

在协议对象列表List<Cprotocol>中查找所属二次解析项为当前协议对象中的二次解析项的记录，并存储为二次解析项LIST，作为递归调用中报文数据对应的协议对象列表List<Cprotocol>；

循环递归调用的终止条件是循环数据偏移量OFFSET不小于变长部分数据长度，首次循环偏移量设置为0，每一轮循环结束后偏移量累加上本轮次循环解析的结构长度；

每一轮循环递归调用实现了变长数据中一个结构体数据的解析，如果变长部分协议格式是映射为N层嵌套的结构体数组形式，则通过执行N次二次解码的递归调用，从结构的最里层(第N层)开始解析，第N层解析完递归返回上一层解析，逐层返回并完成第一层解析后，完成了变长协议映射结构体数组最外层的一个结构体成员的解析。

可以理解，本实施例通过配置文件确定报文数据的解析方式，再根据不同的解析方式解析报文数据的内容，可根据报文数据量大小、硬件资源情况实现数据解析的分布式部署应用，提高解析性能；对于报文协议为不定长协议的情况，本实施例将多层嵌套结构的不定长报文协议配置为二次解码的解析方式，通过多次递归调用实现多层嵌套的复杂报文协议数据的解析，不仅支持不定长部分为多层嵌套的的结构体数组，且嵌套结构仍支持变长，更能适应复杂条件下的报文数据解析。

作为一种优选的实施方式，本实施例对解析完成的报文数据进行处理的具体步骤如下(对应步骤S4)：

报文数据提取后，将解析项点及其提取值按Key:Value(键值对)的形式组合，如果配置信息中配置了输出项Key映射、输出项Value映射，则按配置的映射规则在码位对象列表中查找解析项、提取值映射的名称、值按Key:Value形式组合后，将Key:Value键值对写入数据库或者中间件供业务应用，其中将Key:Value键值对按JSON格式写入中间件的输出样例如图4所示。

本实施例还提供一种基于配置模型实现报文数据自动解析的系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行上述基于配置模型实现报文数据自动解析的方法。本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行上述基于配置模型实现报文数据自动解析的方法。本发明的介质与系统，与上述的方法步骤相对应，同样具有如上方法所述的优点。

本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。存储器用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现各种功能。存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其它易失性固态存储器件等。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于配置模型实现报文数据自动解析的方法，其特征在于，包括步骤：

S1、根据报文数据的各种报文协议来创建相对应的配置文件；

S2、创建协议对象列表，读取配置文件中的配置信息并存储配置信息至协议对象列表中；

S3、读取待解析的报文数据，根据协议对象列表中存储的配置信息确定该报文数据的解析方式，对该报文数据进行解析；

S4、报文数据解析完成后，将生成的数据进行输出或存储。

2.根据权利要求1所述的基于配置模型实现报文数据自动解析的方法，其特征在于：

步骤S1中，所述配置文件为基于Excel模板的配置文件；

所述配置文件的列包括解析项、二次解析项、所属二次解析项、起始字节、字节长度、起始位、位长度、解析方式、数据存储方式、数据类型、输出项Key映射、输出项Value映射、格式化方式、逻辑表达式、是否条件项、条件中的一个或多个；

所述配置文件的每一行对应报文协议中的一个项点。

3.根据权利要求1所述的基于配置模型实现报文数据自动解析的方法，其特征在于，步骤S2包括：

对于基于Excel模板的配置文件中的每一行，创建与该行对应映射的协议对象，且协议对象中的每个成员与该行中的每个单元格一一对应；

读取所述配置文件中的每行信息，并写入协议对象列表；

对协议对象列表中的数据进行过滤，并按二次解析项名称进行分组。

4.根据权利要求3所述的基于配置模型实现报文数据自动解析的方法，其特征在于，步骤S2还包括：

判断报文协议是否含有码位信息，若该报文协议含有码位信息，则创建码位对象列表，读取码位信息中的码位数据并存储至所述码位对象列表中；

其中，码位对象列表中的每个码位对象的成员包括码位名称、码位序号和码位分类。

5.根据权利要求1～4任意一项所述的基于配置模型实现报文数据自动解析的方法，其特征在于，步骤S3中，对报文数据的解析包括步骤：

将报文数据已解析的长度初始化为0，并将协议对象列表对应的指针初始化为该协议对象列表的头部；

对于协议对象列表中的每一个协议对象，判断该协议对象的解析方式，并对报文数据中的一个项点进行提取和解析；每个协议对象解析完成后，将报文数据已解析的长度增加当前协议对象中的字节长度值，并将协议对象列表对应的指针加1；

重复执行上述对协议对象的操作步骤，直至判断到协议对象列表对应的指针到达该协议对象列表的尾部，此时报文数据解析完成；

其中，解析方式包括字节解码、位解码、格式化解码、二次解码。

6.根据权利要求5所述的基于配置模型实现报文数据自动解析的方法，其特征在于，协议对象的解析方式判断完成后，根据解析方式执行下列操作之一：

若判断到解析方式为字节解码，根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，然后再根据数据存储方式、数据类型、数组步长信息实现报文数据的解析；

若判断到解析方式为位解码，根据该协议对象中的起始字节、起始位、位长度、数组步长定位到待解析报文数据的具体位置，实现报文数据的解析；

若判断到解析方式为格式化解码，根据该协议对象中的起始字节、字节长度定位到待解析报文数据的具体位置，根据步长对报文数据进行分步解析获取多个解析值后，再将获取的解析值按格式化表达式进行组合成一个格式化后的解析值，实现报文数据的解析；

若判断到解析方式为二次解码，则解析步骤如下：

根据二次解码起始字节、循环数据偏移量、字节长度截取待解析的变长部分报文数据作为递归调用待解析的报文数据；

在协议对象列表中查找所属二次解析项为当前协议对象中的二次解析项的记录，并存储为二次解析项，作为递归调用中报文数据对应的协议对象列表；

首次循环偏移量设置为0，每一轮循环结束后偏移量累加上本轮次循环解析的结构长度，循环递归调用的终止条件为循环数据偏移量不小于变长部分数据长度；

每一轮循环递归调用实现变长数据中一个结构体数据的解析，直至循环递归调用满足终止条件，实现报文数据的解析。

7.根据权利要求6所述的基于配置模型实现报文数据自动解析的方法，其特征在于：

若判断到解析方式为二次解码，且变长部分报文数据的协议格式是映射为N层嵌套的结构体数组形式，则通过执行N次二次解码的递归调用，从结构的第N层开始解析，第N层解析完递归返回上一层解析，逐层返回并完成第一层解析后，完成变长协议映射结构体数组最外层的一个结构体成员的解析，以实现报文数据的解析。

8.根据权利要求1～4任意一项所述的基于配置模型实现报文数据自动解析的方法，其特征在于：

步骤S4中，报文数据解析完成后，将报文数据中的所有解析项点及其解析后的提取值按键值对形式组合，并存储到数据库或者中间件。

9.一种基于配置模型实现报文数据自动解析的系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述的基于配置模型实现报文数据自动解析的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述的基于配置模型实现报文数据自动解析的方法。