CN117278661A - 一种工业物联网多协议解析方法及系统 - Google Patents

Abstract

本发明公开了一种工业物联网多协议解析方法和系统，涉及通信技术领域，基于Modbus TCP协议的初始协议核构造多协议的特征向量；对多协议的特征向量保留不同项，得到多协议的协议解析核；根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；运行解析文件以对所述设备发送的报文进行协议匹配和解析。本发明解决工业物联网平台通信接口和协议标准种类繁多、协议解析工作量大、硬件资源消耗大、设备接入困难的问题。

Description

一种工业物联网多协议解析方法及系统

技术领域

本发明属于通信技术领域，特别涉及一种工业物联网多协议解析方法及系统。

背景技术

基于工业物联网平台（IIoT）的工业控制系统是汽车智能制造产业的关键技术。工业控制系统通常由多个制造商的设备和系统组成，不同制造商采用的通信技术复杂多样，各个设备使用不同的工业通信协议进行通信，一些特殊的设备控制系统通过专有的工业通信协议进行通信，这导致了通讯接口和通信协议种类纷繁复杂。汽车制造物联网中使用的接口有Modbus、Profibus DP、Profinet、 CClink、OPC、CANBUS等，这对于物联网的协议解析和通信带来了困难，因此如何进行高效的多协议解析和数据传输是非常重要的。

工业物联网目前采用的设备接入方法为，通过物联网网关预先内置多种协议解析程序以完成对多种工业设备的协议解析和数据采集，并转换为通用物联网协议上传至工业互联网平台，且多种解析程序一般都写死在固件里，对硬件资源消耗严重。而且，当接入新设备时，需要与全量的协议描述信息一一比对，以确定协议类型，这一过程效率低下，还可能影响旧设备的正常解析。

发明内容

本发明公开了一种工业物联网多协议解析方法及系统，旨在解决工业物联网平台通信接口和协议标准种类繁多、协议解析工作量大、硬件资源消耗大、设备接入困难的问题。

第一方面，本发明提供了一种工业物联网多协议解析方法，包括：

S1、基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量；

S2、对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量；

S3、根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；

S4、运行解析文件以对所述设备发送的报文进行协议匹配和解析。

可选的，所述S1包括：

S11、根据多协议中目标协议的关键信息在所述初始协议核的基础上增加特征向量，得到新的特征向量；

S12、将所述新的特征向量输入到协议分类模型中，如果分类为所述目标协议，则将所述新的特征向量添加到特征向量集合；

S13、如果未分类为所述目标协议，返回S11，直到新的特征向量被分类为所述目标协议。

其中，所述目标协议为多协议中任一协议，对多协议中的任一协议均执行所述S11~S13。

可选的，在所述S1之前还包括：

采用协议的报文和协议标签构建训练样本，对所述协议分类模型进行训练；

所述协议分类模型为神经网络模型。

可选的，所述S2包括：

S21、将多协议的特征向量构造为x行y列的向量，其中x，y为自然数，x表示协议个数，y表示每种协议的特征向量个数；

S22、对任两个协议的特征向量保留不同项，删除重复项，得到x行y’列的向量；

S23、将x行y’列的行合并，得到1行x×y’列的向量。

可选的，所述S4包括：

S41、运行解析文件，根据所述设备所属协议在所述1行x×y’列的向量中选取匹配的特征向量；

S42、按照匹配的特征向量所述设备的报文进行解析。

可选的，在S4之前还包括：

从设备发送的报文中筛选出有效报文。

可选的，所述从设备发送的报文中筛选出有效报文包括：

确定k个聚类中心，k为初始协议核的维度；

按照报文接收顺序，将接收到报文数据聚类到各簇；

如果各簇的数据量按照初始协议核在报文中的前后位置而顺序增加，则接收到有效报文；

如果各簇的数据量未按照所述顺序增加，则为无效报文。

可选的，在S4之后还包括：

S5、将解析的设备采集参数推送到消息队列；

S6、数据库从所述消息队列中拉取消息，存入时序数据库。

可选的，所述初始协议核至少包括MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验。

第二方面，本发明提供了一种工业物联网多协议解析系统，包括：

协议核构造模块，用于基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量；对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量；

实例化模块，用于根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；

解析模块，用于运行解析文件以对所述设备发送的报文进行协议匹配和解析。

本发明的有益效果包括：本发明提供的工业物联网多协议解析方法及系统可以支持解析多种协议类型，解决了工业物联网关接入设备困难，解析效率低，协议拓展困难的问题。具体来说，本发明以Modbus TCP协议为基础，引入代表多协议的协议解析核来表征简约的协议特征，并通过协议解析核实现对多源异构协议的表达，极大地减小计算负荷，提高了报文处理及解析的效率，完成了工业物联网多协议设备的接入和数据解析流程。从整体角度看，本发明完善了工业物联网多源异构协议的报文和数据统一的格式化流程，提高了数据接入设备的能力，在建设智能工厂实现数据互联方面有巨大的实践价值。

本发明通过通过网关配置设备信息、关键采集参数信息，对多种协议进行解析和数据处理，获得待采集关键参数信息，实现异构工业设备通讯协议与数据的格式化解析，解决异构设备接入物联网平台的数据获取问题。

附图说明

图1是本发明实施例提供的工业物联网多协议解析方法的流程图；

图2是本发明实施例通过的工业物联网多协议解析系统的结构图。

具体实施方式

以下结合附图和具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本发明实施例提供的工业物联网多协议解析方法包括以下步骤：

S1、基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量。

初始协议核是对Modbus TCP 协议的特征表征，是一个1行7列的特征集合。初始协议核至少包括MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验。现有的协议特征库是协议的描述语句，信息量多，造成解析效率低下，本发明的协议核和协议解析核采用特征向量构成，比较简约，有利于提高解析效率。

因为Modbus TCP是工业最常见的以太网协议，目前绝大多数多种协议基本上都基于此协议添加约束而来；所以大多数协议特征都是基于Modbus TCP 协议的特征并有扩展。因此，本发明以初始协议核为基础采用协议分类模型来增加新的特征向量来构造适用多种协议的解析核。

具体的，假设目标协议为多协议中任一协议，对多协议中的任一协议均执行下述S11~S13：

S11、根据多协议中目标协议的关键信息在所述初始协议核的基础上增加特征向量，得到新的特征向量。假设目标协议的关键信息包括控制码和设备地址，则在1行7列特征后增加控制码和设备地址的特征向量。

S12、将所述新的特征向量输入到协议分类模型中，如果分类为所述目标协议，则将所述新的特征向量添加到特征向量集合；S13、如果未分类为所述目标协议，返回S11，直到新的特征向量被分类为所述目标协议。

协议分类模型可以为基于深度学习的神经网络模型，例如递归神经网络RNN，本发明使用递归神经网络RNN算法模型更新初始协议核，实现不同协议的特征表征。使用Tensorflow中的simpleRNN来构建RNN模型。指定向量特征数为7，隐层数设置为128，输出层单元数为10，激活函数使用softmax函数。随机初始化来赋值RNN权重。

协议分类模型可以将输入的内容映射为不同的协议概率。其训练过程包括：采用协议的报文和协议标签构建训练样本，对所述协议分类模型进行训练；所述协议分类模型为神经网络模型。其中，目标协议的报文必然包括目标协议的关键信息，即前述添加的特征向量。因此，如果输入的新的特征向量能够准确表征目标协议，则可以被协议分类模型分类到目标协议上，那么此新的特征向量添加到特征向量集合。如果未被协议分类模型分类到目标协议上，则此新的特征向量不足以表征该目标协议，需要继续添加特征向量，直到添加后的新特征向量被分类到目标协议。如此，对于每个协议均可以得到y列向量，每个协议的y可能不相同，y大于7。

S2、对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量。

由于多协议之间存在相同的特征向量，造成冗余，因此对相同的特征向量仅保留一个。

具体的，S2包括以下操作：

S21、将多协议的特征向量构造为x行y列的向量，其中x，y为自然数，x表示协议个数，y表示每种协议的特征向量个数；S22、对任两个协议的特征向量保留不同项，删除重复项，得到x行y’列的向量；S23、将x行y’列的行合并，得到1行y’列的向量。最终得到用以表征多协议的1行x×y’列的向量。

需要说明的是，x行y列的向量为x个协议的特征向量集合，每个特征向量隶属的协议类型是已知的，在经过约简后，保留的特征向量可能隶属于2个以上的协议类型。

S3、根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件。

在设备接入物联网网关时，可以对设备进行配置形成配置文件。网关接入工具通过可视化界面输入设备信息及其采集参数信息，

串口设备需要配置的信息包括串口名称、波特率、数据位、停止位、校验位和协议类型；其余PLC设备、及Modbus设备配置的信息包括名称、编号、ip、端号、类型、型号和协议类型。设备点位信息包括名称、所属型号、字段名、点位地址和字段类型。形成并保存配置文件文件，配置文件格式为json。形成的json格式的配置文件中的数据结构如下表所示：

表1 设备信息和采集参数信息

本实施例可以基于网关配置设备信息和采集参数信息，实现了设备类型、采集参数自定义的功能，提高了系统的可扩展性。

获取该设备配置的信息及采集参数信息，获得相应设备的实例化解析程序。协议解析核与实例化解析程序一起形成解析文件，进入后续的解析流程。

需要说明的是，解析程序是由开发者根据物联网设备的协议类型编辑开发解析代码，可结合配置信息对解析脚本配置，并与系统自动生成的一些代码进行结合得到相应设备的数据解析程序，本发明中该解析程序采用java语言进行开发。进一步的，当有一种新协议类型应用于该解析方法和系统中时，协议解析脚本可由开发人员开发后存入物联网网关平台所处服务器中，协议解析程序的传输可通过局域网进行；也可以在云服务器中设立协议驱动库并不断更新协议解析程序，需要时可在云服务器中查询协议对应的解析程序，此时协议解析程序的传输需要依赖互联网进行。

S4、运行解析文件以对所述设备发送的报文进行协议匹配和解析。

具体的，S4包括：

S41、运行解析文件，根据所述设备所属协议在所述1行x×y’列的向量中选取匹配的特征向量。例如，读取设备的配置文件，获取设备的协议类型字段，如S7comm。由于协议解析核中的特征向量携带有隶属的协议类型，则可以基于此选取S7comm类型的特征向量。

S42、按照匹配的特征向量所述设备的报文进行解析。匹配的特征向量至少包括MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验，可能还包括控制码和设备地址等。可以首先计算数据长度，然后针对报文头等特征向量逐步对报文进行解析，得到设备采集参数。

本发明人提取多个协议核的特征，形成一个可表征当前所有协议的1行多列的特征集合，即为协议解析核。其大大降低了在协议解析时检索多协议核带来的计算量，快速实现解析文件与解析核的匹配和计算。

进一步的，S5、将解析的设备采集参数推送到消息队列。S6、数据库从所述消息队列中拉取消息，存入时序数据库。

可选的，设备采集参数应首先进行语义获取，再转化为统一的格式化数据，推送到消息队列，格式化数据应为物联网平台能够处理的统一数据，可根据实际需求进行设定，如采用json格式作为统一数据格式。分布式消息队列通过Kafka实现。时序数据库为InfluxDB，时序数据库的设备数据表如下表所示：

表2 时序数据库的设备数据表

本发明的有益效果包括：本发明提供的工业物联网多协议解析方法及系统可以支持解析多种协议类型，解决了工业物联网关接入设备困难，解析效率低，协议拓展困难的问题。具体来说，本发明以Modbus TCP协议为基础，引入代表多协议的协议解析核来表征简约的协议特征，并通过协议解析核实现对多源异构协议的表达，极大地减小计算负荷，提高了报文处理及解析的效率，完成了工业物联网多协议设备的接入和数据解析流程。从整体角度看，本发明完善了工业物联网多源异构协议的报文和数据统一的格式化流程，提高了数据接入设备的能力，在建设智能工厂实现数据互联方面有巨大的实践价值。

实施例二

本实施例在上述实施例的基础上进一步细化，在S4之前还包括：从设备发送的报文中筛选出有效报文。

工业物联网中的工控设备协议如Modbus TCP,RTU等协议的共同特点在于，其数据报文都包含一些建立连接和结束连接报文，为无效报文。报文协议规定有效报文的顺序都是MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验，可以在接收报文各个数据位时将其顺序聚类，以筛选出有效报文。

具体的，确定k个聚类中心，k为初始协议核的维度，k个聚类中心按照顺序分别为MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验。按照报文接收顺序，将接收到报文数据聚类到各簇，各簇中心为前述聚类中心；如果先接收到MBAP报文头则聚类到第一簇，该簇数据量加1；再接收到地址码则聚类到第二簇，该簇数据量加1，以此类推，各簇的数据量应顺序增加。如果各簇的数据量按照初始协议核在报文中的前后位置（即协议规定的MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验在报文中的先后位置）而顺序增加，则接收到有效报文；如果各簇的数据量未按照所述顺序增加，比如地址码、功能码、数据正文这些缺失导致的，则为无效报文。

可选的，前述为k-means聚类算法。

本发明采用聚类算法统计各簇的数据量来判断是否为有效报文，不需要对逐个报文数据进行语义分析，提高效率。

实施例三

本发明提供了一种工业物联网多协议解析系统，参见图2，设备01接入工业物联网，系统包括：

协议核构造模块10，用于基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量；对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量；

实例化模块20，用于根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；

解析模块30，用于运行解析文件以对所述设备发送的报文进行协议匹配和解析。

本发明提供的方法和系统可以应用在汽车工业物联网中，但不限于此。

进一步的，该系统还包括存储模块40，用于将解析的设备采集参数推送到消息队列；数据库从所述消息队列中拉取消息，存入时序数据库。

该系统还包括配置模块50，用于配置设备信息和采集参数信息，形成配置文件。

该系统还包括有效报文提取模块60，用于从设备发送的报文中筛选出有效报文。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本发明提供的工业物联网多协议解析方法及系统可以支持解析多种协议类型，解决了工业物联网关接入设备困难，解析效率低，协议拓展困难的问题。具体来说，本发明实现了设备类型、采集参数自定义的功能，通过网关、设备信息对协议解析驱动进行配置满足了特定设备的解析需求，通过筛选有效报文提高了报文解析的效率，对报文进行解析和存储，完成了工业物联网多协议设备的接入和数据解析流程。从整体角度看，本发明完善了工业物联网报文解析和数据统一格式化流程，提高了物联网平台接入设备的能力，解决了工业物联网战略推进的难题。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种工业物联网多协议解析方法，其特征在于，包括：

S1、基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量；

S2、对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量；

S3、根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；

S4、运行解析文件以对所述设备发送的报文进行协议匹配和解析。

2.根据权利要求1所述的方法，其特征在于，所述S1包括：

S11、根据多协议中目标协议的关键信息在所述初始协议核的基础上增加特征向量，得到新的特征向量；

S12、将所述新的特征向量输入到协议分类模型中，如果分类为所述目标协议，则将所述新的特征向量添加到特征向量集合；

S13、如果未分类为所述目标协议，返回S11，直到新的特征向量被分类为所述目标协议；

其中，所述目标协议为多协议中任一协议，对多协议中的任一协议均执行所述S11~S13。

3.根据权利要求2所述的方法，其特征在于，在所述S1之前还包括：

采用协议的报文和协议标签构建训练样本，对所述协议分类模型进行训练；

所述协议分类模型为神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述S2包括：

S21、将多协议的特征向量构造为x行y列的向量，其中x，y为自然数，x表示协议个数，y表示每种协议的特征向量个数；

S22、对任两个协议的特征向量保留不同项，删除重复项，得到x行y’列的向量；

S23、将x行y’列的行合并，得到1行x×y’列的向量。

5.根据权利要求4所述的方法，其特征在于，所述S4包括：

S41、运行解析文件，根据所述设备所属协议在所述1行x×y’列的向量中选取匹配的特征向量；

S42、按照匹配的特征向量所述设备的报文进行解析。

6.根据权利要求1所述的方法，其特征在于，在S4之前还包括：

从设备发送的报文中筛选出有效报文。

7.根据权利要求6所述的方法，其特征在于，所述从设备发送的报文中筛选出有效报文包括：

确定k个聚类中心，k为初始协议核的维度；

按照报文接收顺序，将接收到报文数据聚类到各簇；

如果各簇的数据量按照初始协议核在报文中的前后位置而顺序增加，则接收到有效报文；

如果各簇的数据量未按照所述顺序增加，则为无效报文。

8.根据权利要求1所述的方法，其特征在于，在S4之后还包括：

S5、将解析的设备采集参数推送到消息队列；

S6、数据库从所述消息队列中拉取消息，存入时序数据库。

9.根据权利要求1所述的方法，其特征在于，所述初始协议核至少包括MBAP报文头、地址码、功能码、数据正文、寄存器地址、寄存器数量和CRC校验。

10.一种工业物联网多协议解析系统，其特征在于，包括：

协议核构造模块，用于基于Modbus TCP协议的初始协议核构造多协议的特征向量；所述初始协议核为包括Modbus TCP协议关键信息的特征向量；对所述多协议的特征向量保留不同项，得到多协议的协议解析核；所述协议解析核为包括多协议关键信息的特征向量；

实例化模块，用于根据接入物联网的设备信息和采集参数信息生成实例化解析程序，所述解析程序与协议解析核形成解析文件；

解析模块，用于运行解析文件以对所述设备发送的报文进行协议匹配和解析。