CN103281311A

CN103281311A - 一种使用Protobuf描述的物联网协议解析方法

Info

Publication number: CN103281311A
Application number: CN2013101719629A
Authority: CN
Inventors: 杨飞; 郑峰; 魏大利
Original assignee: Nanjing Zaixuan Information Science & Technology Co Ltd
Current assignee: Guangdong Donis Network Technology Co ltd
Priority date: 2013-05-12
Filing date: 2013-05-12
Publication date: 2013-09-04
Anticipated expiration: 2033-05-12
Also published as: CN103281311B

Abstract

本发明公开了一种使用Protobuf描述的物联网协议解析方法，该协议解析方法基于统一通信协议,使用Protobuf作为数据载体，将物联网应用终端上传的数据信息解析为物件的真实状态信息，同时将上层业务系统对终端下发的控制指令封装为协议数据；该协议解析方法降低了协议解析难度,减少了数据传输量，提升了协议解析系统的传输效率及开发速度。

Description

一种使用Protobuf描述的物联网协议解析方法

技术领域

本发明涉及物联网领域协议解析方法，特别是一种使用数据交换格式Google Protocol Buffer(以下简称Protobuf)描述并基于此建立的一种用于物联网应用的协议解析方法。

背景技术

近年来，物联网已经成为继计算机、互联网与移动通信网之后的世界信息产业第三次浪潮。世界各国的未来信息化发展战略，均从不同概念向物联网演进。物联网在功能上超越了传统网络以传输为主的功能，在技术上融合了感知、网络、处理和应用等多项技术，在系统体系结构上从信息技术终端和系统延伸到了感知物理世界和多项应用业务，实质上已经成为以数据为核心、多业务融合的信息化系统。

物联网的体系结构是根据物联网的本质和应用特征抽象而成，其体系结构分为三层：感知互动层、网络传输层和应用服务层。

感知互动层：感知互动层完成数据采集、通信和协同信息处理等功能。通过各种类型的传感设备获取物理世界中发生的物理事件和数据信息，并通过网关接入广域承载网络。

网络传输层：网络传输层将来自感知互动层的各类信息通过基础承载网络传输到应用服务层。网络传输层主要关注于来自感知互动层的、经过初步处理的数据经由各类网络的传输问题。

应用服务层：应用服务层将物联网技术与行业专业系统相结合，实现广泛的物物互联应用。应用服务层的主要功能是根据底层采集的数据，形成与业务需求相适应、实时更新的动态数据资源库，为各类业务提供统一的信息资源支撑，从而最终实现物联网各个行业领域应用。

物联网中应用服务层接收到感知层数据后，面临的首要问题便是将数据解析为物件的实际状态信息，并传输给其他系统，在协议解析及数据传输的问题上，目前大部分应用服务层系统都采用自定义字节流协议或XML、JSON等标准数据格式来实现数据的解析及传输。对于这一类的协议解析系统大多存在以下一些问题：

1.)采用自定义字节流协议：可读性差，协议描述方法复杂，需要根据约定的字节序逐个读取每个字节，并将读取后的值再赋值给另外一个对象中的域变量，以便于程序中其他代码逻辑的编写。对于该类型程序而言，联调的基准是客户端和服务器双方均完成了消息报文构建程序的编写，之后才能联调，而该设计方式将会直接导致开发进度过慢；同时由于不能直观的判断拼接的字节流协议是否正确，扩展或修改协议时都容易出BUG；

2.)使用XML描述的协议：XML协议数据解析困难，解析效率较低；同时XML的文本表现手法、标记的符号化会导致XML数据比自定义协议字节流数据、Protobuf数据在数据量上极大的增加，当传输的数据量大的时候，传输效率就成为了很大的问题；

3.)使用JSON描述的协议：JSON数据的可读性较差、数据结构较简单，对于复杂数据结构的支持有限；

4.)系统不向后兼容,当系统间协议升级后,所有相关部分都必须重新编写协议解析部分,否者将不能正确解析协议。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于统一通信协议使用Protobuf描述的物联网应用协议解析方法。用于解决现有协议解析系统开发进度慢，易出错，传输效率低，传输数据量大以及不向后兼容等问题；

本协议解析方法所采用的技术方案如下：

1.)基于物联网应用统一通信协议，统一通信协议格式见附图1

2.)根据统一通信协议编写Protobuf结构化数据proto文件，其中主要分为原始数据Protobuf(以下简称:原始数据)，状态数据Protobuf(以下简称:状态数据)，下发命令数据Protobuf(以下简称:下发命令)三大类，此三类消息均包含消息头Protobuf(以下简称:消息头,为终端上传数据的公共部分）；

3.)使用Protobuf工具将proto结构化文件生成相应编程语言的结构体（类）；

4.)按照统一通信协议编写原始数据封装模块，将终端上传数据编解码为原始数据；便于数据采集模块与协议解析模块的灵活部署；

5.)按照统一通信协议编写状态数据解析模块，此部分输入为原始数据，输出为状态数据；根据消息头中的消息类型采用不同的协议解析方式,将字节流数据彻底解码为终端采集到的真实物件状态信息；

6.)编写下发命令封装模块，此部分输入为下发命令，输出为原始数据；按照统一通信协议将输入下发命令编解码为Protobuf结构的原始数据；便于数据采集模块与协议封装模块的灵活部署；

7.)编写原始数据解析模块；将输入的原始数据按照统一通信协议编解码为字节流数据；

与现有技术相比，本协议解析方法的有益效果是：

1.)集中化解析及封装物联网数据采集终端与数据中心的通信数据，减少上层业务系统对终端通信协议的依赖；

2.)数据可读性好，操作简单：Protobuf为结构化的数据，语义清晰，不必象自定义字节流协议需要逐字解析，也无需象 XML需要复杂的解析器（因为Protobuf编译器会将 .proto 文件编译生成对应的数据访问类,以对Protobuf数据进行序列化、反序列化操作）；

3.)传输数据量更少，传输效率更高：Protobuf比XML更小、更快、也更简单,比JSON拥有更强大的数据表现能力；

4.)向后兼容：Protobuf具有良好的“向后”兼容性，不必破坏依靠“老”数据格式的程序就可以对数据结构进行升级，这样就不用担心因为消息结构的改变，而造成大规模的代码重构或者程序迁移。

附图说明

图1为统一通信协议消息格式。

图2为本协议解析方法一种实例化的系统结构。

图3为解析终端数据的交互流程图。

图4为控制终端的交互流程图。

图5为协议解析方法实现步骤。

图6为Protobuf数据结构。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围；

附图2为本发明实施例的一种系统结构：

数据采集单元采集终端数据后产生Protobuf原始数据并传输给协议解析单元；协议解析单元解析Protobuf原始数据得到Protobuf状态数据，上层业务系统即可获得终端状态信息。上层业务系统需要控制终端时，生成Protobuf下发命令并传输给协议封装单元，协议封装单元编解码下发命令生成Protobuf原始数据并传输给数据采集单元，数据采集单元解析Protobuf原始数据形成字节流数据，发送给采集终端，完成对终端的控制。

附图3为实施例解析终端数据的交互流程图：

步骤一：物联网应用中的数据采集单元接收采集终端上传的数据,并调用协议解析单元的原始数据封装方法将终端上传的数据生成Protobuf原始数据，并发送给协议解析单元；

步骤二：协议解析单元接收数据采集单元发送的Protobuf原始数据,调用协议解析单元的状态数据解析方法生成Protobuf状态数据,提交给上层业务系统；

图4为实施例控制终端的交互流程图

步骤一：协议封装单元接收上层业务系统发送的Protobuf下发命令,调用协议解析单元的下发命令封装方法生成Protobuf原始数据，并发送给数据采集单元

步骤二：数据采集单元接收协议封装单元发送的Protobuf原始数据,调用协议解析单元的原始数据解析方法,生成字节流数据下发给物联网数据采集终端。

本协议解析方法实施例的具体实现步骤请参阅附图5：

步骤S101：编写Protobuf结构数据，根据统一通信协议格式特征（见附图1）编写Protobuf结构数据，主要分为下发命令（DownStreamCMD），原始数据(OriginalMessage)，状态数据（ParsedMessage）三大类（Protobuf数据结构见附图6），此三类数据中均包含消息头（MessageHeader），其中DownStreamCMD分为MessageHeader和具体命令两部分，具体命令根据消息内容部分编写；OriginalMessage分为MessageHeader和消息内容两部分，此处的消息内容为采集器上传的原始字节流数据；ParsedMessage分为MessageHeader和具体解析消息（如：位置信息，采集器状态信息）两部分；例：根据统一通信协议定义的消息头结构如下：

message MessageHeader {

// 消息标识

required string MessageMask = 1 [default = "CL"];

// 消息类型

required string MessageType = 2 [default = "0101"];

// 是否需要应答

optional bool IsWait = 3 [default = false];

// 应答标志

optional bool IsAck = 4 [default = false];

// 协议版本

optional string ProtocolVersion = 5 [default = "1.0"];

// 消息长度

optional int32 Length = 6;

// 消息序号

optional int32 SequenceNO = 7 [default = 0];

// 终端分类

optional string TerminalClass = 8 [default = "TC1"];

// 终端类型

optional string TerminalType = 9 [default = "TT1"];

// 终端标识

optional string TerminalID = 10;

// 控制源标识

optional int32 ControlSourceID = 11;

// GPS是否有效

optional bool IsGPSValid = 12 [default = true];

// 消息时间

optional string MessageTime = 13;

// crc校验码

optional string CRC = 14;

}

步骤S102：生成数据结构体，使用Protobuf工具将proto结构化文件编译生成相关的访问类；运行编译器protoc编译编写好的 .proto 文件：

1.) 如果还没安装编译器则下载并按照README的安装。

2.)运行编译器，指定源目录和目标目录，定位 .proto 文件到源目录，然后配置编译:

运行的命令如下所示：

protoc --proto_path=IMPORT_PATH --cpp_out=DST_DIR --java_out=DST_DIR --python_out=DST_DIR path/to/ MessageHeader.proto

IMPORT_PATH声明了一个.proto文件所在的具体目录。如果忽略该值，则使用当前目录。如果有多个目录则可以对--proto_path 写多次，它们将会顺序的被访问并执行导入。-I=IMPORT_PATH是它的简化形式。

当然也可以提供一个或多个输出路径：

--cpp_out 在目标目录DST_DIR中产生C++代码。

--java_out 在目标目录DST_DIR中产生Java代码。

--python_out 在目标目录DST_DIR 中产生Python代码。

步骤S103：编写原始数据封装模块，根据协议编写终端数据解析单元，用于从终端上传的字节流数据封装生成原始数据OriginalMessage：

1.)解析协议头部分，将协议数据按照协议格式顺序解析得到各项属性，而后使用MessageHeader中的Builder类设置各项属性，最后通过Builder类的build方法生成MessageHeader消息

2.)从协议数据中截取消息体部分，使用OriginalMessage中的Builder类设置MessageHeader及消息体，最后通过Builder类的build方法生成OriginalMessage消息；

步骤S104：编写状态数据解析模块，根据协议解析原始数据OriginalMessage，用于生成状态数据ParsedMessage，其中解析OriginalMessage数据中的消息体部分时依据步骤S201：根据MessageHeader中的消息类型MessageType创建解析工厂，不同的消息类型创建不同的解析方法，解析消息体时根据MessageType调用不同的解析方法，解析为最终状态数据。此步骤依赖于步骤S103生成的原始数据OriginalMessage；

步骤S105：编写下发命令封装模块，用于解析下命令DownStreamCMD，封装生成原始数据OriginalMessage，解析下发命令时根据步骤S202：根据MessageHeader中的消息类型MessageType创建封装工厂，不同的消息类型编写不同的封装方法，封装时根据MessageType调用不同的封装方法，封装为原始数据OriginalMessage；

步骤S106：编写原始数据解析模块，解析OriginalMessage，生成终端能接收的字节流数据，主要将OriginalMessage中的MessageHeade部分封装为字节流数据，而后将OriginalMessage中的消息体部分封装进字节流数据中，生成协议数据。此步骤依赖于步骤S105生成的原始数据OriginalMessage。

Claims

1.一种使用Protobuf描述的物联网协议解析方法，包括如下步骤：

1.)根据统一通信协议编写Protobuf结构化数据proto文件，其中主要分为原始数据Protobuf，状态数据Protobuf，下发命令数据Protobuf三大类，此三类消息均包含消息头Protobuf;

2.)使用Protobuf工具将proto结构化文件生成相应编程语言的结构体；

3.)按照统一通信协议编写原始数据封装模块，将终端上传数据编解码为原始数据；便于数据采集模块与协议解析模块的灵活部署；

4.)按照统一通信协议编写状态数据解析模块，此部分输入为原始数据，输出为状态数据；根据消息头中的消息类型采用不同的协议解析方式,将字节流数据彻底解码为终端采集到的真实物件状态信息；

5.)编写下发命令封装模块，此部分输入为下发命令，输出为原始数据；按照统一通信协议将输入下发命令编解码为Protobuf结构的原始数据；便于数据采集模块与协议封装模块的灵活部署；

6.)编写原始数据解析模块；将输入的原始数据按照统一通信协议编解码为字节流数据。

2.根据权利要求1所述的使用Protobuf描述的物联网协议解析方法，其特征在于：采用基于物联网应用统一通信协议, 使用Protobuf作为数据载体,分为:原始数据Protobuf封装模块, 状态数据Protobuf解析模块, 下发命令Protobuf封装模块，原始数据Protobuf解析模块, 该方法将物联网应用终端上传的数据信息解析为真实物件的状态信息，同时将上层业务系统对终端下发的控制指令封装为协议数据。