CN112202777A - 一种自定义tcp协议解析器中间件及使用方法 - Google Patents

Abstract

本发明提供了一种自定义TCP协议解析器中间件，自定义TCP协议解析器中间件分别与控制主板以及前端服务端通信连接且均与控制主板以及前端服务端彼此独立，自定义TCP协议解析器中间件包括编码模块以及解码模块，编码模块用于对数据体进行编码，解码模块用于对编码后的数据体进行解码。通过本发明完成设备端数据的解析和后端的数据下发工作，不需要每次投入大量的精力到协议的解码和编码操作上，可以提高工作效率。相应地，本发明还提供一种自定义TCP协议解析器中间件使用方法。

Description

一种自定义TCP协议解析器中间件及使用方法

技术领域

本发明涉及数据传输技术领域，具体而言，涉及一种自定义TCP协议解析器中间件及其使用方法。

背景技术

在物联网系统中，当硬件控制主板与web前端服务端通过TCP协议传输数据时，由于不同的报文字段代表不同的意义需要分别解析，其需要后端开发人员了解TCP协议结构及协议中每个字段的意义，如校验方式、报文时间量、报文类型等，方可进行数据的编解码工作。

在对应用程序的功能进行开发时，经常使用的数据格式是对象。后端开发人员需要根据TCP协议传输的字节解析成经常使用的对象数据格式。如果设备量级在十万级、百万级乃至更高时，利用解析器能保证高效的并发操作。Netty是一个java开源框架，其提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。目前在对应用程序的功能进行开发时，通常的做法是利用Netty完成设备端数据的解析和后端的数据下发，然而其每次都需要将大量的精力投入到协议的解码和编码操作上，工作效率不够高。

发明内容

基于此，为了解决目前在对应用程序的功能进行开发时，利用Netty完成设备端数据的解析和后端的数据下发而工作效率不够高的问题，本发明提供了一种自定义TCP协议解析器中间件及其使用方法，其具体技术方案如下：

一种自定义TCP协议解析器中间件，所述自定义TCP协议解析器中间件分别与控制主板以及前端服务端通信连接且均与所述控制主板以及所述前端服务端彼此独立，所述自定义TCP协议解析器中间件包括：

编码模块，用于对数据体进行编码；

解码模块，用于对编码后的数据体进行解码。

通过将所述控制主板以及前端服务端与中间件分割独立开来，完成控制主板与前端服务端之间的解耦，可以降低控制主板与前端服务端之间的依赖性，降低维护成本。

上述中间件作为一个硬件服务器的技术框架，可以减少硬件开发人员和前端服务端开发人员的工作量。对于硬件开发人员而言，只需要开发控制主板的硬件功能和将需要发送的数据通过TCP协议发送至中间件即可。对于前端服务端开发人员而言，若其需要控制主板的硬件信息，通过调用中间件，即可获取所需要的硬件信息。通过上述中间件完成设备端数据的解析和后端的数据下发工作，不需要每次投入大量的精力到协议的解码和编码操作上，可以提高工作效率。

可选的，所述编码模块包括：

第一获取单元，用于获取所述数据体；其中，所述数据体包括具体用户数据以及协议号；

第一提取单元，用于提取具体用户数据的字节长度；

序列化单元，用于对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对数据体进行编码。

可选的，所述解码模块包括：

第二获取单元，用于获取编码后的数据体；

第二提取单元，用于根据所述编码后的数据体提取所述具体用户数据以及所述协议号；

反序列化单元，用于根据所述协议号对所述具体用户数据进行反序列化，以对编码后的数据体进行解码。

可选的，所述数据体还包括时间戳。

可选的，所述解码模块还包括：

第三提取单元，用于获取所述时间戳以及当前时间；

第一比较单元，用于计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果；

执行单元，用于根据所述第一判断结果决定是否调用所述反序列化单元对编码后的数据体进行解码。

可选的，所述自定义TCP协议解析器中间件还包括Redis数据库，所述Redis数据库用于对所述数据体进行持久化存储。

可选的，所述具体用户数据包括心跳信息以及所述控制主板的硬件信息。

相应地，本发明还提供一种自定义TCP协议解析器中间件使用方法，其包括如下步骤：

获取待编码的数据体，并提取所述数据体中的协议号以及具体用户数据的字节长度；

对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对数据体进行编码；

获取编码后的数据体，并根据所述编码后的数据体提取所述具体用户数据以及所述协议号；

根据所述协议号对所述具体用户数据进行反序列化，以对编码后的数据体进行解码；

其中，所述数据体包括具体用户数据以及协议号。

可选的，所述的一种自定义TCP协议解析器中间件使用方法，还包括如下步骤：

获取当前时间以及所述数据体中的时间戳；

计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果；

根据所述第一判断结果决定是否对编码后的数据体进行解码。

相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现上述所述的一种自定义TCP协议解析器中间件使用方法。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明一实施例中一种自定义TCP协议解析器中间件的整体结构示意图；

图2是本发明一实施例中一种自定义TCP协议解析器中间件使用方法的整体流程示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。

如图1所示，本发明一实施例中的一种自定义TCP协议解析器中间件，所述自定义TCP协议解析器中间件分别与控制主板以及前端服务端通信连接且均与所述控制主板以及所述前端服务端彼此独立，所述自定义TCP协议解析器中间件包括编码模块以及解码模块。所述编码模块用于对数据体进行编码，所述解码模块用于对编码后的数据体进行解码。

通过将所述控制主板以及前端服务端与中间件分割独立开来，完成控制主板与前端服务端之间的解耦，可以降低控制主板与前端服务端之间的依赖性，降低维护成本。

上述中间件作为一个硬件服务器的技术框架，可以减少硬件开发人员和前端服务端开发人员的工作量。对于硬件开发人员而言，只需要开发控制主板的硬件功能和将需要发送的数据通过TCP协议发送至中间件即可。对于前端服务端开发人员而言，若其需要控制主板的硬件信息，通过调用中间件，即可获取所需要的硬件信息。通过上述中间件完成设备端数据的解析和后端的数据下发工作，不需要每次投入大量的精力到协议的解码和编码操作上，可以提高工作效率。

在其中一个实施例中，TCP数据结构包括头部以及数据部，头部包括报文信息以及与控制主板相关的信息，数据部包括控制主板的具体信息，数据部的格式分为key-value和key-string两种格式。

Netty是一个java开源框架，其提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。它已经得到成百上千的商业/商用项目验证，如Hadoop(一种分布式系统基础架构)的RPC(远程过程调用)框架Avro(一种数据序列化的系统)、RocketMQ(基于发布订阅的队列模型消息中间件)以及主流的分布式通信框架Dubbox(分布式服务架构)等等。也即是说，Netty是一个基于NIO的客户、服务器端的编程框架，使用Netty可以快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用，其简化和流线化了网络应用的编程开发过程。基于Netty网络应用程序框架和工具来构建自定义TCP协议解析器中间件，可以动态地适用不同自定义TCP协议的数据的解析工作，即对数据进行编码和解码。另外，利用Netty的异步事件驱动特性，则可以完成十万级、百万级乃至更高设备量级的并发操作。

在其中一个实施例中，所述编码模块包括第一获取单元、第一提取单元以及序列化单元。

所述第一获取单元用于获取所述数据体。其中，所述数据体包括具体用户数据以及协议号。所述第一提取单元用于提取具体用户数据的字节长度。所述序列化单元用于对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对数据体进行编码。

Google protobuf是Google开发的一套在网络通信时用于协议编解码的工具库。它类似于XML(可扩展标记语言)和Json数据，将数据已某种形式保存起来。Googleprotobuf相对与XML和Json的不同之处在于其为一种二进制的数据格式，具有更高的传输，打包和解包效率，而netty中集成了Google protobuf。所述协议号可以为protobus协议编号，用于区分不同类型的具体用户数据，所述数据体符合Google protobuf的解析标准，以提高中间件的数据解包和打包效率，提高数据传输速度。

将数据体按照字节数组进行编码，编码后的数据体的数据结构由所述具体用户数据的字节长度、所述协议号、所述具体用户数据以及可扩展字段组成，其组合方式可以根据需要进行调整。可扩展字段用于存储数据体的数据类型、源端口、目的端口、偏移位数以及紧急指针等信息，所述可扩展字段、所述数据体中的协议号以及所述具体用户数据的字节长度所占字节数均可自定义设定。

通过自定义所述可扩展字段、所述数据体中的协议号以及所述具体用户数据的字节长度所占字节数，以及自定义构建数据体的具体数据结构，可以对Java的Netty库进行扩展，大大提高中间件对不同类型数据体处理的灵活性。

在其中一个实施例中，所述解码模块包括第二获取单元、第二提取单元以及反序列化单元。

所述第二获取单元用于获取编码后的数据体，所述第二提取单元用于根据所述编码后的数据体提取所述具体用户数据以及所述协议号。所述反序列化单元用于根据所述协议号对所述具体用户数据进行反序列化，以对编码后的数据体进行解码。

在其中一个实施例中，所述数据体还包括时间戳。所述时间戳用于标志对所述数据体进行编码的具体时间。

在其中一个实施例中，所述解码模块还包括第三提取单元、第一比较单元以及执行单元。

所述第三提取单元用于获取所述时间戳以及当前时间，所述第一比较单元，用于计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果。所述执行单元用于根据所述第一判断结果决定是否调用所述反序列化单元对编码后的数据体进行解码。

具体而言，所述自定义TCP协议解析器中间件还包括一个时间单元，用以生成当前时间。所述第一比较单元计算所述时间戳与当前时间之间的时间间隔，判断所述时间间隔是否大于预设间隔阈值以得出第一判断结果。当所述时间间隔小于预设间隔阈值时，所述执行单元调用反序列化单元对编码后的数据体进行解码，当所述时间间隔大于预设间隔阈值，所述执行单元不调用反序列化单元对编码后的数据体进行解码。

通过计算编码后的数据体中的时间戳与当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，可以获知所要下载数据体的新老。若所要下载数据体老旧，中间件则重新获取数据体，直到编码后的数据体中的时间间隔小于预设间隔阈值为止，以获取最新数据体。

在其中一个实施例中，所述解码模块还包括第二比较单元，所述第二比较单元，所述第二比较单元用于获取具有相同具体用户数据的多个不同编码后的数据体中的时间戳以及所述当前时间之间的时间间隔，获取具有最小时间间隔的编码后的数据体以及执行结果。所述执行单元还用于根据执行结果，直接调用反序列化单元对具有最小时间间隔的编码后的数据体进行解码。其中，所述数据体还包括标志号，所述标志号用于标志所述数据体中的具体用户数据是否相同，即具有相同一致的具体用户数据的不同编码后的数据体具有相同的标志号。所述第二比较单元根据所述标志号判断多个编码后的数据体是否具有相同一致的具体用户数据。

在其中一个实施例中，所述标志号由具体用户数据经由哈希函数得到的哈希值。如此，把任意长度的具体用户数据通过哈希函数变换成固定长度的哈希值，使得标志号与具体用户数据中的每一个字节都产生紧密连接，确保相同标志号对应相同的具体用户数据。所述第二比较单元根据所述标志号能够准确判断多个编码后的数据体是否具有相同一致的具体用户数据。

在其中一个实施例中，所述自定义TCP协议解析器中间件还包括Redis(RemoteDictionary Server，远程字典服务)数据库，所述Redis数据库用于对所述数据体进行持久化存储。

Redis数据库是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，其提供多种语言的API。Redis数据库支持主从同步，数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis数据库可执行单层树复制，存盘可以有意无意的对数据进行写操作。由于Redis数据库完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。也就是说，Redis数据库是一个高性能的key-value数据库。

在利用本发明所述中间件解析根据不同TCP协议编码的数据体后，即可以将解码后的数据体持久化以备使用，而对经常使用的数据体，则可以持久化到Redis数据库，以避免相同数据体的重复解码工作，提高工作效率。

在其中一个实施例中，所述具体用户数据包括心跳信息以及所述控制主板的硬件信息。通过所述中间件完成数据体的上行下行工作，不仅可以上传控制主板设备信息、心跳信息以及中间件获取或者配置控制主板设备信息的反馈信息，还可以下发心跳信息以及前端服务端动态获取或配置控制主板硬件信息。其中，前端服务端可以使用监听者模式或者其它模式动态获取控制主板硬件信息。

在其中一个实施例中，如图2所示，本发明还提供一种自定义TCP协议解析器中间件使用方法，其包括如下步骤：

获取待编码的数据体，并提取所述数据体中的协议号以及具体用户数据的字节长度；

对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对数据体进行编码；

获取编码后的数据体，并根据所述编码后的数据体提取所述具体用户数据以及所述协议号；

根据所述协议号对所述具体用户数据进行反序列化，以对编码后的数据体进行解码；

其中，所述数据体包括具体用户数据以及协议号。

在其中一个实施例中，所述的一种自定义TCP协议解析器中间件使用方法，还包括如下步骤：

获取当前时间以及所述数据体中的时间戳；

计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果；

根据所述第一判断结果决定是否对编码后的数据体进行解码。

在其中一个实施例中，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现上述所述的一种自定义TCP协议解析器中间件使用方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自定义TCP协议解析器中间件，其特征在于，所述自定义TCP协议解析器中间件分别与控制主板以及前端服务端通信连接且均与所述控制主板以及所述前端服务端彼此独立，所述自定义TCP协议解析器中间件包括：

编码模块，用于对数据体进行编码；

解码模块，用于对编码后的数据体进行解码。

2.如权利要求1所述的一种自定义TCP协议解析器中间件，其特征在于，所述编码模块包括：

第一获取单元，用于获取所述数据体；其中，所述数据体包括具体用户数据以及协议号；

第一提取单元，用于提取所述具体用户数据的字节长度；

序列化单元，用于对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对所述数据体进行编码。

3.如权利要求2所述的一种自定义TCP协议解析器中间件，其特征在于，所述解码模块包括：

第二获取单元，用于获取所述编码后的数据体；

第二提取单元，用于根据所述编码后的数据体提取所述具体用户数据以及所述协议号；

反序列化单元，用于根据所述协议号对所述具体用户数据进行反序列化，以对所述编码后的数据体进行解码。

4.如权利要求3所述的一种自定义TCP协议解析器中间件，其特征在于，所述数据体还包括时间戳。

5.如权利要求4所述的一种自定义TCP协议解析器中间件，其特征在于，所述解码模块还包括：

第三提取单元，用于获取所述时间戳以及当前时间；

第一比较单元，用于计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果；

执行单元，用于根据所述第一判断结果决定是否调用所述反序列化单元对所述编码后的数据体进行解码。

6.如权利要求5所述的一种自定义TCP协议解析器中间件，其特征在于，所述自定义TCP协议解析器中间件还包括Redis数据库，所述Redis数据库用于对所述数据体进行持久化存储。

7.如权利要求6所述的一种自定义TCP协议解析器中间件，其特征在于，所述具体用户数据包括心跳信息以及所述控制主板的硬件信息。

8.一种自定义TCP协议解析器中间件使用方法，其特征在于，包括如下步骤：

获取待编码的数据体，并提取所述数据体中的协议号以及具体用户数据的字节长度；

对所述具体用户数据、所述协议号以及所述具体用户数据的字节长度进行序列化，以对所述数据体进行编码；

获取编码后的数据体，并根据所述编码后的数据体提取所述具体用户数据以及所述协议号；

根据所述协议号对所述具体用户数据进行反序列化，以对编码后的数据体进行解码；

其中，所述数据体包括具体用户数据以及协议号。

9.如权利要求8所述的一种自定义TCP协议解析器中间件使用方法，其特征在于，还包括如下步骤：

获取当前时间以及所述数据体中的时间戳；

计算所述时间戳以及所述当前时间之间的时间间隔，比较所述时间间隔以及预设间隔阈值的大小，得出第一判断结果；

根据所述第一判断结果决定是否对编码后的数据体进行解码。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求8或9中所述的一种自定义TCP协议解析器中间件使用方法。

Images