CN110866169A - 一种基于学习的物联网实体消息解析方法 - Google Patents

Abstract

本发明公开了一种基于学习的物联网实体消息解析方法，通过将机器学习方法与现有的解析方法相结合，实现了对任意种类设备消息的自动识别，从而解决了多厂商多型号设备的适配问题；通过采用机器学习方法实现了物联网消息解析器，能够对任意未知格式物联网设备报文进行格式化解析。

Description

一种基于学习的物联网实体消息解析方法

技术领域

本发明属于物联网技术领域，具体涉及一种基于学习的物联网实体消息解 析方法。

背景技术

物联网云平台具有对接入物联网实体发送的消息进行解析的能力，通常可 以在人工指定解析规则的基础上识别、解析报文，以便之后的鉴权、处理等操 作。物联网实体消息为字符串，物联网实体消息解析是将该字符串中记录的有 效数据转化为计算机可以理解的数据类型，并进行格式化存储的过程。这些有 效数据，是由人为定义的需要解析提取的格式化信息。现有技术中，物联网实 体消息解析的过程包括：使用解析规则(如正则模式)对报文字符串进行匹配 解析，得到包含有效数据的字符串子串，然后再将字符串子串类型化，转化为 计算机可操作的数据格式(如整型、浮点型、布尔型、字节流等)。

现有技术中，报文的解析规则是人为提供且硬编码的，对于初次接入系统 的未知设备的报文消息，由于缺乏先验知识，无法选择相应的解析规则为其提 供格式化解析，必须经由人工判断确认，解析方法的泛用性较差，难以适配多 厂商多型号的设备，也无法安全处理未知设备，因此，当接入的物联网实体种 类、数量众多时，将会增加解析难度，严重降低解析效率。

发明内容

有鉴于此，本发明提供了一种基于学习的物联网实体消息解析方法，可以 自动识别任意种类设备消息，解决了多厂商多型号设备的适配问题。

本发明提供的一种基于学习的物联网实体消息解析方法，包括以下步骤：

步骤1、根据预设的物联网实体消息特征，将物联网实体的历史消息表示为 消息特征向量，对所述消息特征向量进行聚类分析，得到所述消息特征向量相 分类标签；

步骤2、以所述消息特征向量作为样本的输入、所述分类标签作为样本的输 出，构建分类元模型样本数据集；采用所述分类元模型样本数据集训练多个机 器学习模型，通过对所述多个机器学习模型进行交叉验证与参数调节，得到多 个分类元模型；所述分类元模型的输入为所述消息特征向量，输出为所述历史 消息的类型置信度向量；

步骤3、以所述类型置信度向量作为样本的输入、所述历史消息的类型作为 样本的输出，构建分类基模型样本数据集；使用模型集成法将多个所述分类元 模型结合起来得到分类基模型，采用所述分类基模型样本数据集训练所述分类 基模型，得到物联网实体消息分类器；

步骤4、采用所述物联网实体消息分类器对物联网实体消息进行分类，然后 采用对应类别的解析方式，对分类后的物联网实体消息进行解析。

进一步地，所述步骤4中对分类后的物联网实体消息进行解析，包括以下 步骤：

步骤4.1、以所述历史消息对应的字符串作为样本的输入，将所述字符串对 应的解析结果表示为01序列，以所述01序列作为样本的输出，构建解析元模 型样本数据集；采用所述解析元模型样本数据集训练多个时间序列模型，得到 多个解析元模型；所述解析元模型的输入为所述字符串，输出为所述字符串的 解析置信度向量；

步骤4.2、以所述字符串的解析置信度向量作为样本的输入、所述01序列 作为样本的输出，构建解析基模型样本数据集；使用模型集成法将多个所述解 析元模型结合起来得到解析基模型，采用所述解析基模型样本数据集训练所述 解析基模型，得到物联网实体消息解析器；

步骤4.3、采用所述物联网实体消息解析器解析所述分类后的物联网实体消 息，得到对应的解析01序列，再使用所述解析01序列对所述分类后的物联网 实体消息进行字符串提取，得到物联网实体消息有效子串，再对所述有效子串 进行类型化。

进一步地，所述步骤4中对分类后的物联网实体消息进行解析，采用正则 模式解析规则实现。

进一步地，所述类型置信度向量采用独特码实现。

进一步地，所述步骤1中的物联网实体消息特征包括：文本序列、长度、 词频、字符占比、发送时段、时间间隔、发送次数设备类型。

有益效果：

本发明通过将机器学习方法与现有的解析方法相结合，实现了对任意种类 设备消息的自动识别，从而解决了多厂商多型号设备的适配问题；通过采用机 器学习方法实现了物联网消息解析器，能够对任意未知格式物联网设备报文进 行格式化解析。

具体实施方式

下面举实施例，对本发明进行详细描述。

本发明提供的一种基于学习的物联网实体消息解析方法，通过将机器学习 方法应用于物联网实体消息的分类和解析中，建立不需要人工提供解析规则的 自动格式化解析方法，实现了自动识别解析任意种类设备的消息，且能够对任 意未知格式物联网设备报文进行格式化解析。

本发明提供的一种基于学习的物联网实体消息解析方法，具体包括以下步 骤：

步骤1、采用设定的物联网消息特征将物联网实体消息描述为消息特征向 量，并且每隔一段时间将当前记录的所有物联网实体消息进行聚类分析，得到 消息特征向量的分类标签，本发明中的分类标签是指物联网实体消息的类型， 例如，状态消息、控制消息等，从而建立分类元模型样本数据集，该数据集以 物联网实体消息特征向量作为样本的输入、该物联网实体消息的类型作为样本 的输出。本发明中，为了提高聚类分析的性能，可以采用非监督的聚类分析。

为了采用机器学习分类模型，结合物联网实体消息的特点，本发明对于给 定的物联网实体消息，可选用如下特征作为识别依据：

文本序列：将物联网实体消息进行分词处理，根据标点符号和大小写将文 本分割为若干词，根据ASCII码对词进行稀疏编码构成词向量与句向量作为消 息的文本序列特征；

长度：将物联网实体消息的长度作为特征；

词频：根据物联网实体消息的分词结果统计词频，将词频作为特征；

字符占比：统计物联网实体消息中，中文、西文字符的占比，将字符占比 其作为特征；

发送时段：将物联网实体消息发送时间所处的时段分为6种：早晨 (6:00-10:00)、午间(10:00-13:00)、下午(13:00-17:00)、傍晚(17:00-19:00)、晚 间(19：00-24:00)和凌晨(0:00-6:00)，将消息所处的时段作为特征；

时间间隔：将物联网实体消息中，源地址与目标地址都相同的消息发送时 间间隔作为特征；

发送次数：将物联网实体一个月内发送消息的次数作为特征；

设备类型：将物联网实体的设备类型作为特征。

步骤2、根据预设的物联网实体消息特征，将物联网实体的历史消息表示为 消息特征向量，以消息特征向量作为样本的输入、历史消息的类型作为样本的 标签。

已知存在k种类型的物联网实体消息，这k类物联网实体消息均已存在人为 提供的解析规则或解析程序，其类别编码为0,1,…,k-1。按照上述特征，将物联 网实体的历史消息编码为消息特征向量，作为样本特征X；将各历史消息所属类 别作为标签y，其中，y∈{0,1,…,k-1}。每一组(X,y)构成一条样本，由所有样 本构成分类元模型样本数据集S，并将S按8:2的比例分割为训练集和测试集。

下面以烟雾报警器为例，说明物联网实体消息特征向量的构建过程，烟雾 报警器发送的消息，如下所示：

{

DeviceId:1033e92

Time:2019-07-01

Place:a_place

}

将该消息输入市场上已有的分词软件，得到其分词结果D(可视为一具有 特定格式的字符串，如该例为”{,DeviceId,:,1033e92,Time,:,2019-07-01,Place,:, a_place,}”)，通过对该字符串的分析，可得到如下特征：

设字符串的长度为L，本例中，报文中共有46个西文字母，因此L＝46；

设由其分词结果D得到的词频统计结果为F，本例中，F为：”’:’:3,‘{‘: 1,‘}’:1,‘DeviceId’:1,‘1033e92’:1,‘Time’:1,‘2019-07-01”:1,‘Place’: 1,‘a_place’:1”)；

设中文字符占比为R1，西文字符占比为R2，本例中，报文中全部为西文字 母，西文字符占比为100％，中文字符占比0％，因此R1＝0，R2＝100；

设消息发送时间为T，这里以精确到秒的时间戳存储，可视为整数，本例中， 假设消息于2019年7月1日下午13时28分发送，则该时间对应的时间戳为1561958899，因此T＝1561958899；

设系统中存储的发自相同IP地址的上一条消息与当前时间间隔为I，这里 采用时间戳表示，可视为整数，本例中，假设发自当前IP地址的上一条消息， 发送于2019-06-0100:00，对应的时间戳为1559318400，通过其与T求差值可得 I，则I＝2640499；

设系统中存储的近30日与报文IP地址相同的所有消息数量为N，假设30 日内发自当前IP的消息数量为12，则N＝12；

设系统中存储的当前IP地址设备类型为T，可视为整数，若未知当前设备 类型则为T＝-1，本例中，假设系统已记录当前消息发送IP为烟雾报警设备，则 T＝15，其中，15是系统中记录的烟雾报警设备的设备类别编号。

根据分析得到的上述特征，分别将其编码为二进制形式，并组成向量 (D,L,F,R1,R2,T,I,N,T)，则该向量为该设备对应的特征向量。

步骤3、采用步骤1中建立的分类元模型样本数据集训练多个机器学习模型， 通过对所述多个机器学习模型进行交叉验证与参数调节，得到多个分类元模型， 其中每个分类元模型都可以完成物联网消息的分类任务，其输入为物联网实体 的消息特征向量，输出为物联网实体消息的类型置信度向量。

其中，交叉验证为现有的机器学习技术，一般来说，对于数据集S，将其划 分为样本数量相等的若干份，每次取其中一份作为验证集、剩余所有作为训练 集，完成多次训练并以验证集上的测试结果衡量模型优劣。

一般的，使用5折交叉验证(5-fold cross validation)，即，将数据集S划分 为等大小的5份S1，S2，S3，S4，S5，对于模型M：

第一次：取S1作为验证集，{S2,S3,S4,S5}作为训练集；

第二次：取S2作为验证集，{S1,S3,S4,S5}作为训练集；

第三次：取S3作为验证集，{S2,S1,S4,S5}作为训练集；

第四次：取S4作为验证集，{S2,S3,S1,S5}作为训练集；

第五次：取S5作为验证集，{S2,S3,S4,S1}作为训练集；

每次在训练集上训练M，并在验证集上测试训练好的M，得到当次M的性 能指标Ei，将E1，E2，E3，E4，E5取平均得到E，即为M的五折交叉验证结 果。

本发明中，在训练集S上，分别选用现有技术中的训练算法分别训练选用 的每个机器学习模型，然后对训练得到的多个机器学习模型进行交叉验证与参 数调节，可得到若干个分类器C₁、C₂、C₃、……作为分类元模型集合。分类元 模型的输入为物联网实体的消息特征向量，输出为对应消息的类型置信度向量。 其中，类型置信度向量为由物联网消息属于各种类型的置信度构成的向量，该 向量的维数为物联网实体消息的类型数量，可采用独特编码实现。例如，类型 置信度向量为k维向量，其中第n个元素为消息属于n类型消息的置信度。

本发明中可以是使用不同训练参数的机器学习模型，如神经网络、决策树、 支持向量机、随机森林模型等。

步骤4、虽然步骤2生成的分类元模型能够完成分类任务，但为提升模型的 分类性能，本发明采用模型集成法，将上述多个分类元模型结合为分类基模型， 再使用分类基模型样本数据集对分类基模型进行训练，生成物联网实体消息分 类器。

分类基模型可以选用一个线性分类器，即其为所有分类元模型的线性组合： Y(X)＝w₀Y₀(X)+w₁Y₁(X)+...+w_J-1Y_J-1(X)，其中j为分类元模型的编号，且 0≤j≤(J-1)，J为分类元模型的数量。

分类基模型样本数据集，以历史消息的类型置信度向量作为样本的输入、 历史消息的类型作为样本的输出，其构建方法如下：将分类元模型样本数据集S 中的样本X输入每个元分类器，得到z_ij＝Y_j(X_i)，其中，i为样本X的编号，z_ij为元分类器j的输出；将

作为分类基模型样本数据集的第i个输 入，类型y_i为分类基模型样本数据集的第i个输出。

采用分类基模型样本数据集对分类基模型进行训练，确定参数w₀,w₁,...,w_J-1的取值，得到训练好的分类基模型。使用训练好的分类基模型，即可实现当输入 任意陌生消息时，能够得到该消息所属的格式类别。

步骤1.5、采用物联网实体消息分类器对物联网实体消息进行分类，然后对 分类后的物联网实体消息进行解析。

本发明中，对分类后的物联网实体消息进行解析的方法，可以采用现有技 术中的基于正则模式实现，也可以采用本发明提出的物联网实体消息解析器实 现。基于正则模式对物联网实体消息进行格式化解析，是使用人工编写的若干 解析规则或解析程序(如：基于正则表达式、JSON字符串格式化等手段提取字 符串中的有效字段)，将报文格式化的过程。

本发明构建的物联网实体消息解析器能够实现对物联网实体消息的不需要 提供解析规则的格式化，具体构建过程包括如下步骤：

步骤1.5.1、以物联网实体历史消息对应的字符串作为样本的输入序列，将 输入序列所对应的解析结果表示为01序列，以该01序列作为样本的输出，构 建解析元模型样本数据集；采用解析元模型样本数据集训练多个时间序列模型， 得到多个解析元模型；解析元模型的输出为字符串的解析置信度向量。

其中，解析置信度向量，是由物联网消息字符串中每位字符是否为格式化 数据的置信度所构成的向量，该向量的维数为字符串的长度。

例如，对于物联网消息报文为{a:”123”}，其采用正则模式进行格式解析后 应提取的字段为123，因此，其对应的01序列应为000011100，即，字符串中123所在位的字符编码为111，其余位的字符编码为0。

步骤1.5.2、以解析置信度向量作为样本的输入、01序列作为样本的输出， 构建解析基模型样本数据集；使用模型集成法将多个解析元模型结合起来得到 解析基模型，再采用解析基模型样本数据集训练解析基模型，得到物联网实体 消息解析器。

步骤1.5.3、采用物联网实体消息解析器解析分类后的物联网实体消息，得 到对应的解析01序列，再使用解析01序列对分类后的物联网实体消息进行字 符串提取，得到物联网实体消息有效子串，再对所述有效子串进行类型化，从 而完成物联网实体消息的解析。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保 护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于学习的物联网实体消息解析方法，其特征在于，包括以下步骤：

步骤1、根据预设的物联网实体消息特征，将物联网实体的历史消息表示为消息特征向量，对所述消息特征向量进行聚类分析，得到所述消息特征向量相分类标签；

步骤2、以所述消息特征向量作为样本的输入、所述分类标签作为样本的输出，构建分类元模型样本数据集；采用所述分类元模型样本数据集训练多个机器学习模型，通过对所述多个机器学习模型进行交叉验证与参数调节，得到多个分类元模型；所述分类元模型的输入为所述消息特征向量，输出为所述历史消息的类型置信度向量；

步骤3、以所述类型置信度向量作为样本的输入、所述历史消息的类型作为样本的输出，构建分类基模型样本数据集；使用模型集成法将多个所述分类元模型结合起来得到分类基模型，采用所述分类基模型样本数据集训练所述分类基模型，得到物联网实体消息分类器；

步骤4、采用所述物联网实体消息分类器对物联网实体消息进行分类，然后采用对应类别的解析方式，对分类后的物联网实体消息进行解析。

2.根据权利要求1所述的方法，其特征在于，所述步骤4中对分类后的物联网实体消息进行解析，包括以下步骤：

步骤4.1、以所述历史消息对应的字符串作为样本的输入，将所述字符串对应的解析结果表示为01序列，以所述01序列作为样本的输出，构建解析元模型样本数据集；采用所述解析元模型样本数据集训练多个时间序列模型，得到多个解析元模型；所述解析元模型的输入为所述字符串，输出为所述字符串的解析置信度向量；

步骤4.2、以所述字符串的解析置信度向量作为样本的输入、所述01序列作为样本的输出，构建解析基模型样本数据集；使用模型集成法将多个所述解析元模型结合起来得到解析基模型，采用所述解析基模型样本数据集训练所述解析基模型，得到物联网实体消息解析器；

步骤4.3、采用所述物联网实体消息解析器解析所述分类后的物联网实体消息，得到对应的解析01序列，再使用所述解析01序列对所述分类后的物联网实体消息进行字符串提取，得到物联网实体消息有效子串，再对所述有效子串进行类型化。

3.根据权利要求1所述的方法，其特征在于，所述步骤4中对分类后的物联网实体消息进行解析，采用正则模式解析规则实现。

4.根据权利要求1所述的方法，其特征在于，所述类型置信度向量采用独特码实现。

5.根据权利要求1所述的方法，其特征在于，所述步骤1中的物联网实体消息特征包括：文本序列、长度、词频、字符占比、发送时段、时间间隔、发送次数设备类型。